JP2020103704A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】車両の搭乗者の顔画像に基づいて搭乗者の感情を推定する感情推定処理を実行する装置が知られているが、顔画像に基づく感情推定処理の推定精度の向上に貢献可能な技術を提供することが望ましい。【解決手段】一の移動体の状況を取得する状況取得部と、一の移動体に搭載された撮像部によって撮像された移動体の搭乗者の画像に基づく感情推定処理を実行して搭乗者の感情を推定する感情推定部であって、移動体の状況に応じた感情推定処理を実行する感情推定部とを備える情報処理装置を提供する。【選択図】図３

Description

本発明は、情報処理装置及びプログラムに関する。

車両の搭乗者の顔画像に基づいて搭乗者の感情を推定する感情推定処理を実行する装置が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８−１０６５３０号公報

顔画像に基づく感情推定処理の推定精度の向上に貢献可能な技術を提供することが望ましい。

本発明の第１の態様によれば、情報処理装置が提供される。情報処理装置は、一の移動体の状況を取得する状況取得部を備えてよい。情報処理装置は、一の移動体に搭載された撮像部によって撮像された移動体の搭乗者の画像に基づく感情推定処理を実行して搭乗者の感情を推定する感情推定部であって、移動体の状況に応じた感情推定処理を実行する感情推定部を備えてよい。

上記情報処理装置は、上記搭乗者が上記一の移動体に搭乗しているときの上記一の移動体の状況毎の上記搭乗者の感情の傾向を示す感情傾向情報を格納する感情傾向情報格納部を備えてよく、上記感情推定部は、上記一の移動体の状況に対応する上記搭乗者の感情の傾向を用いた感情推定処理を実行してよい。上記感情傾向情報格納部は、上記一の移動体の複数の搭乗者のそれぞれに対応する感情傾向情報を格納してよく、上記感情推定部は、上記搭乗者に対応する上記感情傾向情報を参照して、上記一の移動体の状況に対応する上記搭乗者の感情の傾向を特定してよい。

上記感情傾向情報は、上記一の移動体の移動速度に関する状況に対応する上記搭乗者の感情の傾向を含んでよい。上記感情傾向情報は、上記一の移動体の移動速度が予め定められた速度より速い状況と、上記搭乗者が恐怖を抱きやすいことを示す感情の傾向とを対応付けてよく、上記感情推定部は、上記一の移動体の移動速度が予め定められた速度より速い場合に、上記感情傾向情報を用いずに上記搭乗者の感情を推定する場合と比較して、上記搭乗者の恐怖の感情の度合が強くなるように上記搭乗者の感情を推定してよい。

上記感情傾向情報は、上記一の移動体の搭乗者の数に関する状況に対応する上記搭乗者の感情の傾向を含んでよい。上記感情傾向情報は、上記一の移動体に複数の搭乗者が搭乗している状況と、上記搭乗者が喜びを抱きやすいことを示す感情の傾向とを対応付けてよく、上記感情推定部は、上記一の移動体に複数の搭乗者が搭乗している場合に、上記感情傾向情報を用いずに上記搭乗者の感情を推定する場合と比較して、上記搭乗者の喜びの感情の度合が強くなるように上記搭乗者の感情を推定してよい。上記感情傾向情報は、上記一の移動体に複数の搭乗者が搭乗している状況と、上記搭乗者が哀しみを抱きやすいことを示す感情の傾向とを対応付けてよく、上記感情推定部は、上記一の移動体に複数の搭乗者が搭乗している場合に、上記感情傾向情報を用いずに上記搭乗者の感情を推定する場合と比較して、上記搭乗者の哀しみの感情の度合が強くなるように上記搭乗者の感情を推定してよい。

上記一の移動体は自動車であってよく、上記感情傾向情報は、上記一の移動体が走行している道路に関する状況に対応する上記搭乗者の感情の傾向を含んでよい。上記感情傾向情報は、上記一の移動体が走行している道路が高速道路である状況と、上記搭乗者が興奮を抱きやすいことを示す感情の傾向とを対応付けてよく、上記感情推定部は、上記一の移動体が高速道路を走行している場合に、上記感情傾向情報を用いずに上記搭乗者の感情を推定する場合と比較して、上記搭乗者の興奮の感情の度合が強くなるように上記搭乗者の感情を推定してよい。上記感情傾向情報は、上記一の移動体が走行している道路が高速道路である状況と、上記搭乗者が緊張を抱きやすいことを示す感情の傾向とを対応付けてよく、上記感情推定部は、上記一の移動体が高速道路を走行している場合に、上記感情傾向情報を用いずに上記搭乗者の感情を推定する場合と比較して、上記搭乗者の緊張の感情の度合が強くなるように上記搭乗者の感情を推定してよい。

上記情報処理装置は、移動体の状況毎に、上記一の移動体の搭乗者の感情を推定するための感情推定用データを格納するデータ格納部を備えてよく、上記感情推定部は、上記一の移動体の状況に対応する感情推定用データを用いた感情推定処理を実行してよい。上記データ格納部は、移動体の状況毎に、上記一の移動体の搭乗者の感情を推定するための感情推定アルゴリズムを格納してよく、上記感情推定部は、上記一の移動体の状況に対応する感情推定アルゴリズムを用いて、上記撮像部によって撮像された上記搭乗者の画像に基づく感情推定処理を実行することにより、上記搭乗者の感情を推定してよい。上記データ格納部は、移動体の状況毎に、上記一の移動体の搭乗者の感情を推定するための上記搭乗者のニュートラルな表情の画像を格納してよく、上記感情推定部は、上記撮像部によって撮像された上記搭乗者の画像と、上記一の移動体の状況に対応する上記搭乗者のニュートラルな表情の画像とを比較することにより、上記搭乗者の感情を推定してよい。

本発明の第２の態様によれば、コンピュータを、上記情報処理装置として機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る車両１００の一例を概略的に示す。 車両１００の構成の一例を概略的に示す。 情報処理装置２００の機能構成の一例を概略的に示す。 情報処理装置２００による処理の流れの一例を概略的に示す。 情報処理装置２００による処理の流れの一例を概略的に示す。 情報管理サーバ３００の機能構成の一例を概略的に示す。 情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る車両１００の一例を概略的に示す。車両１００は、複数の搭乗者を乗せて移動する移動体の一例であってよい。車両１００は、情報処理装置２００を備えてよい。情報処理装置２００は、車両１００の搭乗者の感情を推定する感情推定処理機能を有する。

本実施形態において、車両１００に搭乗している者を区別しない場合、搭乗者と記載し、運転している者としていない者とを区別する場合、前者を運転者５２、後者を同乗者５４と記載する。車両１００が自動運転車である場合、運転者５２は、運転席に座っている者であってよい。同乗者５４は、助手席に座っている者であってよい。同乗者５４は、後部座席に座っている者であってよい。

情報処理装置２００は、搭乗者の画像を用いて搭乗者の感情を推定する感情推定処理を実行可能であってよい。情報処理装置２００は、車両１００が備える撮像部によって撮像された搭乗者の画像を取得する。撮像部は、車両１００の車内の全体を撮像可能な１台のカメラ１１０を有してよい。情報処理装置２００は、当該カメラ１１０から、運転者５２の画像及び同乗者５４の画像を取得してよい。

撮像部は、複数のカメラ１１０を有してもよい。情報処理装置２００は、複数のカメラ１１０のそれぞれによって撮像された運転者５２の画像及び同乗者５４の画像を、当該複数のカメラ１１０から取得してよい。撮像部は、例えば、運転席及び助手席を撮像可能なカメラ１１０と、後部座席を撮像可能なカメラ１１０とを有する。撮像部は、運転席を撮像可能なカメラ１１０と、助手席を撮像可能なカメラ１１０とを有してもよい。撮像部は、後部座席の複数の同乗者５４のそれぞれを撮像可能な複数のカメラ１１０を有してもよい。

情報処理装置２００は、例えば、搭乗者のニュートラルな表情の画像を予め格納しておく。ニュートラルな表情とは、いわゆる素の表情であってよい。搭乗者の素の表情とは、例えば、搭乗者が何も意識していないときの表情である。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の顔画像とニュートラルな表情の画像とを比較することによって、搭乗者の感情を推定してよい。

情報処理装置２００は、例えば、初期設定としてカメラ１１０によって撮像された搭乗者のニュートラルな表情の画像を格納する。情報処理装置２００は、搭乗者のニュートラルな表情の画像を他の装置から受信して格納してもよい。情報処理装置２００は、例えば、搭乗者が所有するスマートフォン等の携帯通信端末から、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を介して、搭乗者のニュートラルな表情の画像を受信する。また、情報処理装置２００は、例えば、搭乗者のニュートラルな表情の画像を管理する管理サーバから、移動体通信ネットワーク等を介して、搭乗者のニュートラルな表情の画像を受信する。情報処理装置２００は、１人の搭乗者につき、複数のニュートラルな表情の画像を格納してもよい。

情報処理装置２００は、搭乗者のニュートラルな表情の画像を用いるのではなく、汎用のニュートラルな表情の画像を用いて搭乗者の感情を推定してもよい。汎用のニュートラルな表情の画像とは、多数の人の平均的なニュートラルな表情の画像であってよい。汎用のニュートラルな表情の画像は、性別、年齢、及び人種等の属性毎に用意されていてもよい。

情報処理装置２００は、例えば、ニュートラルな表情との相違と、人間の感情パターンとを対応付けた対応付けデータを予め格納しておく。対応付けデータは、例えば、ニュートラルな表情に対して口角が上がっていることとポジティブな感情とを対応付け、ニュートラルな表情に対して口角が下がっていることとネガティブな感情とを対応付ける。対応付けデータは、ニュートラルな表情との相違の度合と、感情の度合とをさらに対応付けてよい。例えば、対応付けデータは、ニュートラルな表情に対して、より口角が上がっているほど、より高い度合を対応付ける。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の画像、ニュートラルな表情の画像、及び当該対応付けデータを用いて、感情のパターンのいずれかと、感情の度合とを特定することにより、搭乗者の感情の推定結果とする。

人間の感情のパターンとして、例えば、人間の感情を活性度（Ａｒｏｕｓａｌ）と覚醒度（Ｖａｌｅｎｃｅ）の２軸で表し、感情の度合いを原点からの距離で表すラッセル（Ｒｕｓｓｅｌｌ）の円環モデルに基づく感情のパターンを採用し得る。また、例えば、人間の感情を、８つの基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待）と、隣り合う２つの感情の組み合わせによる応用感情とに分類したプルチック（Ｐｌｕｔｃｈｉｋ）の感情の輪に基づく感情のパターンを採用し得る。これらに限らず、本実施形態に係る情報処理装置２００は、任意の感情のパターンを採用し得る。

情報処理装置２００は、ニュートラルな表情の画像を用いるのではなく、搭乗者が複数の種類の感情のそれぞれを抱いているときの顔画像を格納しておき、その後にカメラ１１０によって撮像された搭乗者の顔画像と、格納している複数の顔画像とを比較することによって、搭乗者の感情を推定してもよい。例えば、情報処理装置２００は、格納している複数の顔画像のうち、カメラ１１０によって撮像された搭乗者の顔画像に最も類似する顔画像を特定し、特定した顔画像に対応する感情の種類を、搭乗者の感情の種類の推定結果とする。また、情報処理装置２００は、カメラ１１０によって撮像された搭乗者の顔画像と、当該顔画像に最も類似する顔画像との類似度に応じた度合を、搭乗者の感情の度合の推定結果としてよい。

情報処理装置２００は、予め格納した画像を用いるのではなく、搭乗者の顔画像の変動等に基づいて、搭乗者の感情を推定してもよい。人物の顔画像から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、当該様々な技術のうちの任意の技術を採用し得る。

車両１００の搭乗者は、車両１００の状況毎に、抱く感情の傾向が異なる場合がある。例えば、スピードが速いと怖く感じる人がいるが、このような人が車両１００に搭乗した場合、車両１００の速度が速い状況においては、恐怖の感情を抱く可能性が高いといえる。また、例えば、他の人と一緒にいることを喜ばしいと感じる人がいるが、このような人が車両１００に搭乗した場合、他の搭乗者がいれば喜びの感情を抱く可能性が高いといえる。また、例えば、１人でいることが好きな人がいるが、このような人が車両１００に搭乗した場合に、他の搭乗者がいれば哀しみの感情を抱く可能性が高いといえる。

本実施形態に係る情報処理装置２００は、搭乗者の感情を推定する場合に、車両１００の状況に応じた感情推定処理を実行する。情報処理装置２００は、例えば、車両１００の状況毎の搭乗者の感情の傾向を示す感情傾向情報を格納しておき、車両１００の状況に対応する搭乗者の感情の傾向を用いた感情推定処理を実行する。

例えば、情報処理装置２００は、スピードが速いと怖く感じる搭乗者の感情を推定する場合に、感情傾向情報を用いない場合と比較して恐怖の度合が強くなるように、搭乗者の感情を推定する。情報処理装置２００は、例えば、感情傾向情報を用いない場合と同様に搭乗者の感情を推定した後、恐怖の度合を強める補正を行う。また、例えば、情報処理装置２００は、恐怖の度合が強くなるようにパラメータを設定した上で、感情推定処理を実行する。これにより、感情推定結果が、搭乗者の実際の感情を示す確率を高めることができ、感情推定精度の向上に貢献し得る。

情報処理装置２００は、任意の手法によって、感情傾向情報を取得してよい。例えば、情報処理装置２００は、搭乗者本人によって入力された感情傾向情報を取得する。また、例えば、情報処理装置２００は、搭乗者の感情推定結果から、感情傾向情報を生成してもよい。例えば、情報処理装置２００は、車両１００の状況と、当該状況における搭乗者の感情推定結果とを収集して分析することによって、車両１００の複数の状況のそれぞれにおける搭乗者の感情の傾向を特定し、特定結果を用いて感情傾向情報を生成する。

情報処理装置２００は、生成した感情傾向情報を、他の車両１００等と共有してもよい。例えば、情報処理装置２００は、車両１００に搭乗した搭乗者の識別情報を取得しておき、搭乗者に対して生成した感情傾向情報と識別情報とを対応付けて格納する。そして、情報処理装置２００は、対応付けて格納している識別情報及び感情傾向情報を、ネットワーク１０を介して情報管理サーバ３００に送信する。

搭乗者の識別情報は、例えば、情報管理サーバ３００によって割り振られるユーザＩＤである。搭乗者を識別可能な識別情報は、例えば搭乗者が所有する携帯電話の番号等、搭乗者を識別することができれば、どのような情報であってもよい。

ネットワーク１０は、任意のネットワークであってよい。例えば、ネットワーク１０は、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信システム、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信システム、及び５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信システム等の移動体通信システムを含んでよい。ネットワーク１０は、インターネット、公衆無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及び任意の専用網等を含んでもよい。

情報管理サーバ３００は、複数の情報処理装置２００から収集した識別情報及び感情傾向情報を登録しておく。情報管理サーバ３００は、例えば、識別情報を含む要求を受信した場合であって、当該識別情報に対応する感情傾向情報が登録されている場合に、要求の送信元に対して、感情傾向情報を送信する。

要求の送信元は、例えば、車両１００の情報処理装置２００である。情報処理装置２００は、例えば、情報処理装置２００を搭載している車両１００に搭乗者が搭乗した場合に、当該搭乗者の識別情報を取得して、識別情報を含む要求を情報管理サーバ３００に送信し、情報管理サーバ３００から感情傾向情報を受信する。これにより、情報処理装置２００は、他の車両１００の情報処理装置２００によって生成された感情傾向情報を用いて、搭乗者の感情を推定することができる。要求の送信元は、人物の顔画像に基づく感情推定処理を実行する装置であれば、任意の装置であり得る。

図２は、車両１００の構成の一例を概略的に示す。図２に示す各種構成は、車両１００が備えるナビゲーションシステムの一部であってもよい。

車両１００は、カメラ１１０を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能なカメラ１１０を備える場合を例示する。図２において例示する画角１１２が示すように、カメラ１１０によれば、運転席１６２、助手席１６４、及び後部座席１６６の搭乗者を撮像可能である。図２におけるカメラ１１０の配置は例示であり、カメラ１１０は、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能であれば任意の場所に配置されてよい。なお、車両１００は、運転席１６２、助手席１６４、及び後部座席１６６のそれぞれを撮像する複数のカメラ１１０を備えてもよい。

車両１００は、マイク１２２を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するマイク１２２を備える場合を例示する。図２におけるマイク１２２の配置は例示であり、マイク１２２は、運転席１６２、助手席１６４及び後部座席１６６のすべての搭乗者の音声を拾うことができれば、任意の場所に配置されてよい。車両１００は、複数のマイク１２２を備えてもよい。複数のマイク１２２は、例えば、運転席１６２用のマイク１２２、助手席１６４用のマイク１２２、及び後部座席１６６用のマイク１２２を含む。

車両１００は、スピーカ１２４を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するスピーカ１２４を備える場合を例示する。図２におけるスピーカ１２４の配置は例示であり、スピーカ１２４は、任意の場所に配置されてよい。車両１００は、複数のスピーカ１２４を備えてもよい。

車両１００は、ディスプレイ１３０を備える。図２におけるディスプレイ１３０の配置は例示であり、ディスプレイ１３０は、主に運転席１６２及び助手席１６４から閲覧可能であれば、任意の場所に配置されてよい。ディスプレイ１３０は、タッチパネルディスプレイであってよい。車両１００は、複数のディスプレイ１３０を備えてもよい。例えば、車両１００は、運転席１６２及び助手席１６４用のディスプレイ１３０と、後部座席１６６用のディスプレイ１３０とを備える。

車両１００は、無線通信アンテナ１４２を備える。無線通信アンテナ１４２は、ネットワーク１０上の装置と通信するためのアンテナであってよい。車両１００は、例えば、無線通信アンテナ１４２によって、移動体通信システムにおける無線基地局及び無線ルータ等を介してネットワーク１０上の装置と通信する。なお、無線通信アンテナ１４２は、車車間通信及び路車間通信等を行うためのアンテナであってもよく、車両１００は、車車間通信及び路車間通信等を介して、ネットワーク１０上の装置と通信してもよい。

車両１００は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）アンテナ１４４を備える。ＧＰＳアンテナ１４４は、ＧＰＳ衛星から位置測定用の電波を受信する。車両１００は、ＧＰＳアンテナ１４４が受信する位置測定用の電波を用いて、車両１００の現在地を測位してよい。車両１００は、さらに自立航法による測位を組み合わせることによって、車両１００の現在地を測位してもよい。車両１００は、公知の任意の測位技術を用いて、車両１００の現在地を測位してよい。

車両１００は、車両１００の搭乗者の生体情報を検知可能な不図示のセンサを備えてもよい。当該センサは、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置され、搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を検知する。車両１００は、搭乗者が身に着けているウェアラブルデバイスと通信接続する近距離無線通信部を備えていてもよく、ウェアラブルデバイスによって検知された搭乗者の生体情報を、当該ウェアラブルデバイスから受信してもよい。近距離無線通信部は、例えば、Ｂｌｕｅｔｏｏｔｈ等によってウェアラブルデバイスと通信接続する。

上述の各種構成は、情報処理装置２００が備えてもよい。情報処理装置２００は、車両１００が備えるナビゲーションシステムと一体であってよく、また、別体であってもよい。

図３は、情報処理装置２００の機能構成の一例を概略的に示す。情報処理装置２００は、画像取得部２０２、音声取得部２０４、センサ情報取得部２０６、感情推定部２１０、状況取得部２２０、感情傾向情報格納部２３０、感情傾向情報生成部２３２、識別情報取得部２３４、感情傾向情報送信部２３６、感情傾向情報取得部２３８、データ格納部２４０、及びデータ取得部２４２を備える。なお、情報処理装置２００がこれらのすべての構成を備えることは必須とは限らない。

画像取得部２０２は、車両１００の搭乗者の画像を取得する。画像取得部２０２は、車両１００の撮像部によって撮像された搭乗者の画像を取得する。画像取得部２０２は、１００の撮像部によって撮像される搭乗者の画像を継続的に取得してよい。

音声取得部２０４は、車両１００の搭乗者の音声を取得する。音声取得部２０４は、車両１００のマイク１２２から入力された搭乗者の音声を取得する。音声取得部２０４は、車両１００のマイク１２２から搭乗者の音声を継続的に取得してよい。

センサ情報取得部２０６は、センサによって検知された車両１００の搭乗者の生体情報を取得する。センサ情報取得部２０６は、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置されたセンサによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該センサから取得する。また、センサ情報取得部２０６は、例えば、搭乗者が身に着けているウェアラブルデバイスによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該ウェアラブルデバイスから取得する。

感情推定部２１０は、感情推定処理を実行して搭乗者の感情の種類及び度合を推定する。感情推定部２１０は、画像取得部２０２によって取得された搭乗者の顔画像を用いた感情推定処理を実行してよい。

また、感情推定部２１０は、音声取得部２０４によって取得された搭乗者の音声を用いた感情推定処理を実行可能であってよい。感情推定部２１０は、例えば、音声自体の特徴量に基づく感情推定処理を実行する。音声自体の特徴量としては、音声の大きさ、トーン、スペクトル、及び基本周波数等が例示できる。感情推定部２１０は、音声を音声認識した結果の文字列に基づく感情推定処理を実行してもよい。また、感情推定部２１０は、音声自体の特徴量と、音声を音声認識した結果の文字列との両方に基づく感情推定処理を実行してもよい。車両１００が複数の搭乗者のそれぞれの音声を拾う複数のマイクを備えている場合、感情推定部２１０は、マイクの違いによって、話者を識別してよい。一つのマイクによって複数の搭乗者の音声を拾う場合、感情推定部２１０は、公知の話者識別機能を用いることによって、話者を識別してよい。公知の話者識別機能としては、音声の特徴量を用いる方法、音声の取得方向から判定する方法等が知られている。人物の音声から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、感情推定部２１０は、当該様々な技術のうちの任意の技術を採用し得る。

また、感情推定部２１０は、センサ情報取得部２０６によって取得された複数種類の生体情報を用いた感情推定処理を実行可能であってよい。感情推定部２１０は、例えば、搭乗者の心拍、脈拍、発汗、血圧、及び体温等を用いた感情推定処理を実行する。人物の心拍、脈拍、発汗、血圧、及び体温等から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、情報処理装置２００は、当該様々な技術のうちの任意の技術を採用し得る。

状況取得部２２０は、車両１００の状況を取得する。状況取得部２２０は、例えば、車両１００の走行状況を取得する。状況取得部２２０は、例えば、車両１００のナビゲーションシステムによって管理されている車両１００の走行状況を、ナビゲーションシステムから取得する。車両１００のナビゲーションシステムは、車両１００の位置情報、車両１００が走行している周辺の道路データ、車両１００の速度、加速度、ステアリングの操作状態、及びブレーキの操作状態等から、車両１００の走行状況を判定してよい。

車両１００の走行状況は、車両１００の状態及び車両１００が走行している道路の状況等を含んでよい。車両１００の状態は、例えば、車両１００の走行速度に関する情報を含む。車両１００の走行速度に関する情報は、例えば、車両１００が通常速度で走行していること、車両１００が加速していること、車両１００が急加速したこと、及び車両１００が急停止したこと等を含む。

車両１００が走行している道路の状況は、例えば、車両１００が走行している道路の形状を含む。道路の形状としては、直線、カーブ、及び坂道等が例示できる。カーブは、カーブの度合いによって、緩いカーブ、普通のカーブ、急カーブ等に細分化されてもよい。坂道は、上り坂及び下り坂に区別されてよく、また、坂道の度合いによって緩い上り坂、普通の上り坂、急な上り坂、緩い下り坂、普通の下り坂、急な下り坂等に細分化されてもよい。

また、状況取得部２２０は、例えば、車両１００の内部状況を取得する。状況取得部２２０は、例えば、画像取得部２０２が取得する画像によって、車両１００の内部状況を取得する。状況取得部２２０は、例えば、車両１００の搭乗者の数を取得する。また、状況取得部２２０は、車両１００の搭乗者を識別して個人を特定することにより、車両１００に搭乗している人物の情報を取得する。

感情傾向情報格納部２３０は、搭乗者の感情傾向情報を格納する。感情傾向情報格納部２３０は、複数の搭乗者のそれぞれに対応する感情傾向情報を格納してよい。感情傾向情報格納部２３０は、例えば、車両１００を常用している人物の感情傾向情報を格納する。例えば、感情傾向情報格納部２３０は、車両１００の所有者と、所有者と同居している者の感情傾向情報を格納する。感情傾向情報格納部２３０は、車両１００を常用している人物以外に、車両１００に搭乗する可能性がある人物の感情傾向情報を格納してよい。

感情傾向情報は、車両１００の移動速度に関する状況に対応する搭乗者の感情の傾向を含んでよい。感情傾向情報は、例えば、車両１００の走行速度が予め定められた速度より速い状況と、搭乗者が恐怖を抱きやすいことを示す感情の傾向とを対応付ける。

感情傾向情報は、例えば、車両１００の搭乗者の数に関する状況に対応する搭乗者の感情の傾向を含んでよい。感情傾向情報は、例えば、車両１００に複数の搭乗者が搭乗している状況と、搭乗者が喜びを抱きやすいことを示す感情の傾向とを対応付ける。また、感情傾向情報は、例えば、車両１００に複数の搭乗者が搭乗している状況と、搭乗者が哀しみを抱きやすいことを示す感情の傾向とを対応付ける。

感情傾向情報は、車両１００が走行している道路に関する状況に対応する搭乗者の感情の傾向を含んでよい。感情傾向情報は、例えば、車両１００が走行している道路が高速道路である状況と、搭乗者が興奮を抱きやすいことを示す感情の傾向とを対応付ける。また、感情傾向情報は、例えば、車両１００が走行している道路が高速道路である状況と、搭乗者が緊張を抱きやすいことを示す感情の傾向とを対応付ける。

感情傾向情報格納部２３０は、複数の搭乗者のそれぞれについて、下記表１に例示するように、運転する場合と同乗する場合とのそれぞれの感情の傾向を示す感情傾向情報を格納してよい。

感情推定部２１０は、状況取得部２２０によって取得された車両１００の状況に応じた感情推定処理を実行する。感情推定部２１０は、例えば、搭乗者に対応する感情傾向情報を参照し、状況取得部２２０が取得した状況に対応する搭乗者の感情の傾向を用いた感情推定処理を実行する。感情推定部２１０は、搭乗者が運転者５２である場合、当該搭乗者が運転する場合のそれぞれの感情の傾向を示す感情傾向情報を用いた感情推定処理を実行してよい。また、感情推定部２１０は、搭乗者が同乗者５４である場合、当該搭乗者が同乗する場合のそれぞれの感情の傾向を示す感情傾向情報を用いた感情推定処理を実行してよい。

感情推定部２１０は、例えば、搭乗者が３人いる場合、３人のそれぞれの感情傾向情報を感情傾向情報格納部２３０から読み出す。下記表２は、読み出した感情傾向情報の一例を示す。

感情推定部２１０は、例えば、車両１００の移動速度が予め定められた速度より速い場合に、感情傾向情報を用いずに運転者の感情を推定する場合と比較して、運転者の興奮の感情の度合が強くなるように運転者の感情を推定する。また、感情推定部２１０は、例えば、車両１００の移動速度が予め定められた速度より速い場合に、感情傾向情報を用いずに同乗者Ａの感情を推定する場合と比較して、同乗者Ａの恐怖の感情の度合が強くなるように同乗者Ａの感情を推定する。

感情推定部２１０は、車両１００に複数の搭乗者が搭乗していることから、感情傾向情報を用いずに運転者の感情を推定する場合と比較して、運転者の哀しみの感情の度合が強くなるように運転者の感情を推定してよい。また、感情推定部２１０は、車両１００に複数の搭乗者が搭乗していることから、感情傾向情報を用いずに同乗者Ｂの感情を推定する場合と比較して、同乗者Ｂの喜びの感情の度合が強くなるように運転者の感情を推定してよい。

感情推定部２１０は、例えば、車両１００が高速道路を走行している場合に、感情傾向情報を用いずに運転者の感情を推定する場合と比較して、運転者の興奮の感情の度合が強くなるように運転者の感情を推定する。また、感情推定部２１０は、例えば、車両１００が高速道路を走行している場合に、感情傾向情報を用いずに同乗者Ａ、同乗者Ｂの感情を推定する場合と比較して、同乗者Ａ、同乗者Ｂの興奮の感情の度合が強くなるように運転者の感情を推定する。

上述したように、感情推定部２１０が、搭乗者に対応する感情傾向情報を参照し、車両１００の状況に対応する搭乗者の感情の傾向を用いた感情推定処理を実行することにより、各状況において搭乗者が抱きやすい感情の情報を反映した推定結果を導出できるので、推定精度の向上に貢献し得る。

感情傾向情報生成部２３２は、感情傾向情報を生成する。感情傾向情報生成部２３２は、例えば、状況取得部２２０が取得した状況と、感情推定部２１０が感情傾向情報を用いずに推定した搭乗者の感情の推定結果とから、感情傾向情報を生成する。感情傾向情報生成部２３２は、車両１００の状況と、当該状況における搭乗者の感情推定結果とを収集して分析することによって、車両１００の複数の状況のそれぞれにおける搭乗者の感情の傾向を特定し、特定結果を用いて感情傾向情報を生成してよい。感情傾向情報生成部２３２は、生成した感情傾向情報を感情傾向情報格納部２３０に格納する。

識別情報取得部２３４は、車両１００の搭乗者の識別情報を取得する。識別情報取得部２３４は、例えば、画像取得部２０２によって取得される搭乗者の顔画像に対して人物認識技術を適用することによって人物を特定し、特定した人物の識別情報を取得する。また、識別情報取得部２３４は、例えば、音声取得部２０４によって取得される搭乗者の音声に対して話者認識技術を適用することによって人物を特定し、特定した人物の識別情報を取得する。識別情報取得部２３４は、搭乗者が所有する携帯通信端末から、近距離無線通信を介して、搭乗者の識別情報を受信してもよい。感情傾向情報生成部２３２は、識別情報取得部２３４が取得する搭乗者の識別情報を対応付けて、当該搭乗者の感情傾向情報を感情傾向情報格納部２３０に格納してよい。

感情傾向情報送信部２３６は、感情傾向情報格納部２３０に格納されている、識別情報が対応付けられた感情傾向情報を、情報管理サーバ３００に送信する。感情傾向情報送信部２３６は、ネットワーク１０を介して、感情傾向情報を情報管理サーバ３００に送信してよい。

感情傾向情報取得部２３８は、情報管理サーバ３００から感情傾向情報を取得する。感情傾向情報取得部２３８は、例えば、識別情報取得部２３４によって取得された車両１００の搭乗者の識別情報を含む要求を情報管理サーバ３００に送信し、情報管理サーバ３００から、要求に含まれる識別情報に対応する感情傾向情報を受信してよい。感情傾向情報取得部２３８は、情報管理サーバ３００から受信した感情傾向情報を感情傾向情報格納部２３０に格納してよい。

データ格納部２４０は、車両１００の搭乗者の感情を推定するための感情推定用データを格納する。データ格納部２４０は、車両１００の状況毎に、感情推定用データを格納してよい。感情推定用データは、車両１００がある状況のときに当該車両１００の搭乗者が抱きやすい感情の種類が推定結果として導出されやすくなるように生成されたデータであってよい。また、感情推定用データは、車両１００がある状況のときに搭乗者が抱きやすい感情の種類の感情の度合が強い度合となるように生成されたデータであってよい。

データ格納部２４０は、例えば、車両１００の走行速度毎の感情推定用データを格納する。また、データ格納部２４０は、例えば、車両１００の搭乗者の数毎の感情推定用データを格納する。また、データ格納部２４０は、例えば、自動運転及び手動運転のそれぞれ用の感情推定用データを格納する。データ格納部２４０は、これらに限らず、さらに多様な状況に応じた感情推定用データを格納してもよい。

感情推定部２１０は、状況取得部２２０によって取得された状況に対応する感情推定用データを用いた感情推定処理を実行してよい。これにより、車両１００の状況に応じた搭乗者の感情の傾向を反映した感情推定結果を導出することができる。

感情推定用データは、例えば、感情推定アルゴリズムである。感情推定部２１０は、状況取得部２２０によって取得された状況に対応する感情推定アルゴリズムを用いた感情推定アルゴリズムを実行してよい。データ格納部２４０は、車両１００の状況毎に、感情推定アルゴリズムを格納してよい。データ格納部２４０は、例えば、車両１００がある状況のときに搭乗者が抱きやすい感情の種類が推定結果として導出されやすい感情推定アルゴリズムを、当該状況に対応付けて格納する。また、データ格納部２４０は、例えば、車両１００がある状況のときに搭乗者が抱きやすい感情の種類の感情の度合が強い度合となるように生成された感情推定アルゴリズムを、当該状況に対応付けて格納する。

データ格納部２４０は、例えば、車両１００の走行速度毎の感情推定アルゴリズムを格納する。具体例として、データ格納部２４０は、車両１００の走行速度がより速い状況に対して、推定結果の恐怖の感情がより強い度合となるように生成された感情推定アルゴリズムを対応付ける。これにより、スピードが速いと怖く感じる搭乗者の感情を推定する場合に、推定結果における恐怖の感情の度合をより強い度合とすることができ、推定結果の感情と、搭乗者の実際の感情との一致度を高め得る。

また、感情推定用データは、例えば、搭乗者のニュートラルな表情の顔画像である。感情推定部２１０は、例えば、画像取得部２０２によって取得された搭乗者の顔画像と、状況取得部２２０によって取得された状況に対応する搭乗者のニュートラルな表情の画像とを比較することにより、搭乗者の感情を推定する。データ格納部２４０は、車両１００の状況毎に、搭乗者のニュートラルな表情の顔画像を格納してよい。データ格納部２４０は、例えば、車両１００がある状況のときに搭乗者が抱きやすい感情の種類が推定結果として導出されやすい搭乗者のニュートラルな表情の顔画像を、当該状況に対応付けて格納する。また、データ格納部２４０は、例えば、車両１００がある状況のときに搭乗者が抱きやすい感情の種類の度合が強い度合となるような搭乗者のニュートラルな表情の画像を、当該状況に対応付けて格納する。搭乗者が抱きやすい感情の種類の度合が強い度合となるような搭乗者のニュートラルな表情とは、このような種類の感情を抱いたときに変化する部分の変化量がより大きくなるような表情であってよい。例えば、目が大きく見開いているほど、驚きの感情の度合を強いと判定する場合、驚きの感情の度合が強い度合となるような搭乗者のニュートラルな表情とは、目の見開きが少ない表情である。

データ格納部２４０は、例えば、車両１００の走行速度毎のニュートラルな表情の画像を格納する。具体例として、データ格納部２４０は、車両１００の走行速度がより速い状況に対して、推定結果の恐怖の感情がより強い度合となるような搭乗者のニュートラルな表情の画像を対応付ける。これにより、スピードが速いと怖く感じる搭乗者の感情を推定する場合に、推定結果における恐怖の感情の度合をより強い度合とすることができ、推定結果の感情と、搭乗者の実際の感情との一致度を高め得る。

図４は、情報処理装置２００による処理の流れの一例を概略的に示す。ここでは、感情推定部２１０が感情傾向情報を用いた感情推定処理を実行する場合の処理の流れを説明する。

ステップ（ステップをＳと省略して記載する場合がある。）１０２では、状況取得部２２０が車両１００の状況を取得する。Ｓ１０４では、画像取得部２０２が搭乗者の画像を取得する。Ｓ１０６では、感情推定部２１０が感情推定処理を実行するか否かを判定する。感情推定部２１０は、例えば、周期的に感情推定処理を実行してよく、感情推定部２１０は、実行周期になったか否かを判定する。当該周期は、例えば、画像取得部２０２が取得する画像のフレームの周期であってよい。感情推定処理を実行すると判定した場合、Ｓ１０８に進み、実行しないと判定した場合、Ｓ１０２に戻る。

Ｓ１０８では、感情推定部２１０が、感情傾向情報格納部２３０に格納されている複数の感情傾向情報のうち、感情推定対象の搭乗者に対応する感情傾向情報を参照する。感情推定部２１０は、車両１００に複数の搭乗者が搭乗している場合、複数の搭乗者のそれぞれに対応する感情傾向情報を参照してよい。Ｓ１１０では、感情推定部２１０が、Ｓ１０２において取得された車両１００の状況に対応する感情の傾向を特定し、当該感情の傾向を用いた感情推定処理を実行する。感情推定部２１０は、車両１００に複数の搭乗者が搭乗している場合、搭乗者毎に感情推定処理を実行してよい。そして、Ｓ１０２に戻る。

図４に示す処理は、感情推定処理の実行を停止するまで継続されてよい。情報処理装置２００は、例えば、搭乗者によって感情推定処理の実行の停止が指示された場合、車両１００のエンジンが停止した場合、車両１００の電源がオフにされた場合等に、図４に示す処理を終了する。

図５は、情報処理装置２００による処理の流れの一例を概略的に示す。ここでは、感情推定部２１０が、感情推定用データを用いた感情推定処理を実行する場合の処理の流れを説明する。

Ｓ２０２では、状況取得部２２０が車両１００の状況を取得する。Ｓ２０４では、画像取得部２０２が搭乗者の画像を取得する。Ｓ２０６では、感情推定部２１０が感情推定処理を実行するか否かを判定する。感情推定処理を実行すると判定した場合、Ｓ２０８に進み、実行しないと判定した場合、Ｓ２０２に戻る。

Ｓ２０８では、感情推定部２１０が、データ格納部２４０に格納されている複数の感情推定用データのうち、Ｓ２０２において取得された状況及び感情推定対象の搭乗者に対応する感情推定用データを取得する。感情推定部２１０は、車両１００に複数の搭乗者が搭乗している場合、搭乗者毎に感情推定用データを取得してよい。Ｓ２１０では、感情推定部２１０が、Ｓ２０８において取得した感情推定用データを用いた感情推定処理を実行する。感情推定部２１０は、車両１００に複数の搭乗者が搭乗している場合、搭乗者毎に感情推定処理を実行してよい。そして、Ｓ２０２に戻る。

図５に示す処理は、感情推定処理の実行を停止するまで継続されてよい。情報処理装置２００は、例えば、搭乗者によって感情推定処理の実行の停止が指示された場合、車両１００のエンジンが停止した場合、車両１００の電源がオフにされた場合等に、図５に示す処理を終了する。

図６は、情報管理サーバ３００の機能構成の一例を概略的に示す。情報管理サーバ３００は、感情傾向情報受信部３０２、感情傾向情報格納部３０４、要求受信部３０６、及び感情傾向情報送信部３０８を備える。

感情傾向情報受信部３０２は、複数の情報処理装置２００から、ネットワーク１０を介して、識別情報が対応付けられた感情傾向情報を受信する。感情傾向情報格納部３０４は、感情傾向情報受信部３０２が受信した感情傾向情報を格納する。

要求受信部３０６は、識別情報を含む、感情傾向情報の要求を受信する。感情傾向情報送信部３０８は、要求受信部３０６が要求を受信した場合に、要求に含まれる識別情報に対応する感情傾向情報が感情傾向情報格納部２３０に格納されているか否かを判定し、格納されている場合に、要求の送信元に、感情傾向情報を送信する。

図７は、情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、上記実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、上記実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ−ＲＯＭドライブ及びＤＶＤ−ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びタッチパネルのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。コンピュータ１２００は、ディスプレイデバイス１２１８を備えていなくてもよく、その場合、グラフィックコントローラ１２１６は、イメージデータが外部のディスプレイデバイスに表示されるようにする。

通信インタフェース１２２２は、無線通信ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ−ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、ＵＳＢポート等を介して、様々な入出力ユニットを入出力コントローラ１２２０に接続してよい。

プログラムは、ＤＶＤ−ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ−ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ−ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

上記実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

上記実施形態では、移動体の例として車両１００を挙げて説明したが、これに限らない。移動体は、複数の搭乗者を搭乗させて移動可能であれば、どのようなものであってもよい。例えば、車両１００の他、電車、飛行機、及び船舶等であってよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ ネットワーク、５２ 運転者、５４ 同乗者、１００ 車両、１１０ カメラ、１１２ 画角、１２２ マイク、１２４ スピーカ、１３０ ディスプレイ、１４２ 無線通信アンテナ、１４４ ＧＰＳアンテナ、１５０ ハンドル、１６２ 運転席、１６４ 助手席、１６６ 後部座席、２００ 情報処理装置、２０２ 画像取得部、２０４ 音声取得部、２０６ センサ情報取得部、２１０ 感情推定部、２２０ 状況取得部、２３０ 感情傾向情報格納部、２３２ 感情傾向情報生成部、２３４ 識別情報取得部、２３６ 感情傾向情報送信部、２３８ 感情傾向情報取得部、２４０ データ格納部、２４２ データ取得部、３００ 情報管理サーバ、３０２ 感情傾向情報受信部、３０４ 感情傾向情報格納部、３０６ 要求受信部、３０８ 感情傾向情報送信部、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２２６ ＤＶＤドライブ、１２２７ ＤＶＤ−ＲＯＭ、１２３０ ＲＯＭ、１２４０ 入出力チップ

Claims (15)

1. 一の移動体の状況を取得する状況取得部と、
   前記一の移動体に搭載された撮像部によって撮像された前記一の移動体の搭乗者の画像に基づく感情推定処理を実行して前記搭乗者の感情を推定する感情推定部であって、前記一の移動体の状況に応じた感情推定処理を実行する感情推定部と
   を備える情報処理装置。
2. 前記搭乗者が前記一の移動体に搭乗しているときの前記一の移動体の状況毎の前記搭乗者の感情の傾向を示す感情傾向情報を格納する感情傾向情報格納部
   を備え
   前記感情推定部は、前記一の移動体の状況に対応する前記搭乗者の感情の傾向を用いた感情推定処理を実行する、請求項１に記載の情報処理装置。
3. 前記感情傾向情報格納部は、前記一の移動体の複数の搭乗者のそれぞれに対応する感情傾向情報を格納し、
   前記感情推定部は、前記搭乗者に対応する前記感情傾向情報を参照して、前記一の移動体の状況に対応する前記搭乗者の感情の傾向を特定する、請求項２に記載の情報処理装置。
4. 前記感情傾向情報は、前記一の移動体の移動速度に関する状況に対応する前記搭乗者の感情の傾向を含む、請求項２又は３に記載の情報処理装置。
5. 前記感情傾向情報は、前記一の移動体の移動速度が予め定められた速度より速い状況と、前記搭乗者が恐怖を抱きやすいことを示す感情の傾向とを対応付け、
   前記感情推定部は、前記一の移動体の移動速度が予め定められた速度より速い場合に、前記感情傾向情報を用いずに前記搭乗者の感情を推定する場合と比較して、前記搭乗者の恐怖の感情の度合が強くなるように前記搭乗者の感情を推定する、請求項４に記載の情報処理装置。
6. 前記感情傾向情報は、前記一の移動体の搭乗者の数に関する状況に対応する前記搭乗者の感情の傾向を含む、請求項２から５のいずれか一項に記載の情報処理装置。
7. 前記感情傾向情報は、前記一の移動体に複数の搭乗者が搭乗している状況と、前記搭乗者が喜びを抱きやすいことを示す感情の傾向とを対応付け、
   前記感情推定部は、前記一の移動体に複数の搭乗者が搭乗している場合に、前記感情傾向情報を用いずに前記搭乗者の感情を推定する場合と比較して、前記搭乗者の喜びの感情の度合が強くなるように前記搭乗者の感情を推定する、請求項６に記載の情報処理装置。
8. 前記感情傾向情報は、前記一の移動体に複数の搭乗者が搭乗している状況と、前記搭乗者が哀しみを抱きやすいことを示す感情の傾向とを対応付け、
   前記感情推定部は、前記一の移動体に複数の搭乗者が搭乗している場合に、前記感情傾向情報を用いずに前記搭乗者の感情を推定する場合と比較して、前記搭乗者の哀しみの感情の度合が強くなるように前記搭乗者の感情を推定する、請求項６に記載の情報処理装置。
9. 前記一の移動体は自動車であり、
   前記感情傾向情報は、前記一の移動体が走行している道路に関する状況に対応する前記搭乗者の感情の傾向を含む、請求項２から８のいずれか一項に記載の情報処理装置。
10. 前記感情傾向情報は、前記一の移動体が走行している道路が高速道路である状況と、前記搭乗者が興奮を抱きやすいことを示す感情の傾向とを対応付け、
    前記感情推定部は、前記一の移動体が高速道路を走行している場合に、前記感情傾向情報を用いずに前記搭乗者の感情を推定する場合と比較して、前記搭乗者の興奮の感情の度合が強くなるように前記搭乗者の感情を推定する、請求項９に記載の情報処理装置。
11. 前記感情傾向情報は、前記一の移動体が走行している道路が高速道路である状況と、前記搭乗者が緊張を抱きやすいことを示す感情の傾向とを対応付け、
    前記感情推定部は、前記一の移動体が高速道路を走行している場合に、前記感情傾向情報を用いずに前記搭乗者の感情を推定する場合と比較して、前記搭乗者の緊張の感情の度合が強くなるように前記搭乗者の感情を推定する、請求項９に記載の情報処理装置。
12. 移動体の状況毎に、前記一の移動体の搭乗者の感情を推定するための感情推定用データを格納するデータ格納部
    を備え、
    前記感情推定部は、前記一の移動体の状況に対応する感情推定用データを用いた感情推定処理を実行する、請求項１に記載の情報処理装置。
13. 前記データ格納部は、移動体の状況毎に、前記一の移動体の搭乗者の感情を推定するための感情推定アルゴリズムを格納し、
    前記感情推定部は、前記一の移動体の状況に対応する感情推定アルゴリズムを用いて、前記撮像部によって撮像された前記搭乗者の画像に基づく感情推定処理を実行することにより、前記搭乗者の感情を推定する、請求項１２に記載の情報処理装置。
14. 前記データ格納部は、移動体の状況毎に、前記一の移動体の搭乗者の感情を推定するための前記搭乗者のニュートラルな表情の画像を格納し、
    前記感情推定部は、前記撮像部によって撮像された前記搭乗者の画像と、前記一の移動体の状況に対応する前記搭乗者のニュートラルな表情の画像とを比較することにより、前記搭乗者の感情を推定する、請求項１２に記載の情報処理装置。
15. コンピュータを、請求項１から１４のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

Images