JP2019101472A - 感情推定装置 - Google Patents

Abstract

【課題】車両に乗車している対象者の感情を適切に推定する。【解決手段】感情推定装置（１００、２００）は、車両（１）に乗車している対象者の感情を推定する感情推定装置である。当該感情推定装置は、対象者の感情に応じて変化する情報である第１情報を取得する第１取得手段（１１）と、対象者の感情表現に影響を及ぼす車両に係る情報を含む第２情報を取得する第２取得手段（２２）と、第１情報及び第２情報に基づいて、対象者の感情を推定する推定手段（２１）と、を備える。【選択図】図１

Description

本発明は、感情推定装置に関し、特に、車両に乗車している対象者の感情を推定する感情推定装置の技術分野に関する。

この種の装置として、例えば、被験者の表情から感情を推定した感情推定結果、被験者の生体情報から感情を推定した感情推定結果、及び、被験者の音声から感情を推定した感情推定結果のうち少なくとも２つの感情推定結果を、ユーザが入力した重み付け係数に従って組み合わせて調整感情推定結果を出力する装置が提案されている（特許文献１参照）。テキスト入力情報及び状況情報を含む特徴データを用いて学習データを生成して推論モデルを構築し、該構築された推論モデルと特徴データとからユーザの心理状態を判断する装置が提案されている（特許文献２参照）。

車両の車室内カメラにより運転者及び同乗者の挙動を検出し、運転者の挙動の変化量及び同乗者の挙動の変化量を比較して運転者の感情を推定する装置が提案されている（特許文献３参照）。生体センサにより車両の運転者又は同乗者の生体情報を取得して、該取得された生体情報を用いて運転者又は同乗者の感情を推定する装置が提案されている（特許文献４参照）。車両の複数の乗員各々について複数種類の生体情報を検出して該複数の乗員各々の感情を推定する装置が提案されている（特許文献５参照）。

特開２０１２−０５９１０７号公報 特開２０１４−０９４２９１号公報 特開２０１７−１３８７６２号公報 特開２０１７−１３６９２２号公報 特開２０１６−１３７８７１号公報

車両に乗車している対象者は、例えば該対象者と同乗者との関係性等に応じて、感情表現を抑制する可能性がある。上述の背景技術では、対象者が感情表現を抑制する可能性については考慮されていないという技術的問題点がある。

本発明は、上記問題点に鑑みてなされたものであり、対象者の感情を適切に推定することができる感情推定装置を提供することを課題とする。

本発明の一態様に係る感情推定装置は、車両に乗車している対象者の感情を推定する感情推定装置であって、前記対象者の感情に応じて変化する情報である第１情報を取得する第１取得手段と、前記対象者の感情表現に影響を及ぼす前記車両に係る情報を含む第２情報を取得する第２取得手段と、前記第１情報及び前記第２情報に基づいて、前記対象者の感情を推定する推定手段と、を備えるというものである。

実施形態に係る感情推定装置の構成を示すブロック図である。 実施形態の第１変形例に係る感情推定装置の構成を示すブロック図である。

感情推定装置に係る実施形態について図１を参照して説明する。図１は、実施形態に係る感情推定装置の構成を示すブロック図である。尚、本実施形態では、感情推定の対象者の一例として「運転者」を挙げる。

図１において、感情推定装置１００は、車両１に搭載されている。感情推定装置１００は、カメラ１１、マイク１２、ナビゲーション装置１３、通信部１４、デプスセンサ１５、生体センサ１６、感情判別器２１及び２４、状況判定部２２、感情閾値設定器２３、結合部２５並びに感情判別部２６を備えて構成されている。

カメラ１１は、車両１の車室内を撮像する。マイク１２は、車両１の車室内の音を集音する。通信部１４は、例えばインターネット等のネットワークを介して、該ネットワーク上に存在するサーバ装置（図示せず）と通信可能に構成されている。デプスセンサ１５は、カメラ１１により画像が撮像される範囲内、且つ、デプスセンサ１５のセンサ範囲内に存在する物体（特に人間）のデプスセンサ１５からの距離を検出する。生体センサ１６は、運転者の生体情報（例えば脈拍数、体温等）を測定する。

状況判定部２２は、カメラ１１により撮像された画像に基づいて、車両１の乗車人数を求める。状況判定部２２は、車両１に運転者しか乗車していない場合、運転者の感情は顔表情に出づらいと判定する。状況判定部２２は、車両１に運転者の他に同乗者がいる場合、運転者の感情は顔表情に出やすいと判定する。状況判定部２２は、乗車人数に基づく判定結果をパラメータａの値で示す。具体的には、運転者の感情は顔表情に出づらいと判定された場合、パラメータａの値は“−２”となり、運転者の感情は顔表情に出やすいと判定された場合、パラメータａの値は“＋２”となる。尚、判定できなかった場合、パラメータａの値は“０”となる。

状況判定部２２は、ナビゲーション装置１３に目的地が設定されている場合、目的地に係る情報を取得する。「目的地に係る情報」には、例えば、目的地の名称、種別（例えばレジャー施設、職場等）、位置（緯度、経度）、等が含まれる。状況判定部２２は、設定されている目的地が運転者にとって望ましい場合、快方向の感情が出やすいと判定する。状況判定部２２は、設定されている目的地が運転者にとって望ましくない場合、不快方向の感情が出やすいと判定する。状況判定部２２は、目的地に基づく判定結果をパラメータｂの値で示す。具体的には、快方向の感情が出やすいと判定された場合、パラメータｂの値は“＋１”となり、不快方向の感情が出やすいと判定された場合、パラメータｂの値は“−１”となる。尚、目的地が設定されていない又は判定できなかった場合、パラメータｂの値は“０”となる。

状況判定部２２は、マイク１２の出力信号に基づいて、語気の程度を判定する。「語気の程度」は、例えば音声の強弱や表現の丁寧さ等に基づいて判定される。状況判定部２２は、語気の程度が、例えば普段よりおとなしい場合、運転者の感情が顔表情に出づらいと判定する。状況判定部２２は、語気の程度が、例えば普段より荒々しい場合、運転者の感情が顔表情に出やすいと判定する。状況判定部２２は、語気の程度に基づく判定結果をパラメータｃの値で示す。具体的には、運転者の感情は顔表情に出づらいと判定された場合、パラメータｃの値は“−１”となり、運転者の感情は顔表情に出やすいと判定された場合、パラメータｃの値は“＋１”となる。尚、判定できなかった場合、パラメータｃの値は“０”となる。

上記サーバ装置に運転者のスケジュールや、人間関係を示すデータ（例えばアドレス帳）等を含む個人データベースが格納されている場合、状況判定部２２は、通信部１４を介して、運転者の個人データベースにアクセスする。

状況判定部２２は、個人データベースの内容と、マイク１２の出力信号により示される音声と、に基づいて、車両１に乗車している人物間の人間関係を推定する。状況判定部２２は、推定された人間関係が、例えば「家族、友人」である場合、運転者の感情が顔表情に出やすいと判定する。状況判定部２２は、推定された人間関係が、例えば「上司、部下」である場合、運転者の感情が顔表情に出づらいと判定する。状況判定部２２は、人間関係に基づく判定結果をパラメータｄの値で示す。具体的には、運転者の感情は顔表情に出やすいと判定された場合、パラメータｄの値は“＋１”となり、運転者の感情は顔表情に出づらいと判定された場合、パラメータｄの値は“−１”となる。尚、同乗者がいない場合又は判定できなかった場合、パラメータｄの値は“０”となる。

上記サーバ装置に運転者の個人データベースが格納されている場合、状況判定部２２は、通信部１４を介して、運転者の個人データベースからスケジュールを取得する。状況判定部２２は、設定されているスケジュールが運転者にとって望ましい内容である場合、快方向の感情が出やすいと判定する。状況判定部２２は、設定されているスケジュールが運転者にとって望ましくない内容である場合、不快方向の感情が出やすいと判定する。状況判定部２２は、スケジュールに基づく判定結果をパラメータｅの値で示す。具体的には、
快方向の感情が出やすいと判定された場合、パラメータｅの値は“＋１”となり、不快方向の感情が出やすいと判定された場合、パラメータｅの値は“−１”となる。尚、スケジュールが設定されていない又は判定できなかった場合、パラメータｅの値は“０”となる。

状況判定部２２は、パラメータａ、ｂ、ｃ、ｄ及びｅ各々の値を感情閾値設定器２３に送信する。感情閾値設定器２３は、パラメータａ、ｃ及びｄ各々の値を加算してパラメータαの値を求める（即ち、“α＝ａ＋ｃ＋ｄ”である）。また、感情閾値設定器２３は、パラメータｂ及びｅ各々の値を加算してパラメータβの値を求める（即ち、“β＝ｂ＋ｅ”である）。

感情閾値設定器２３は、パラメータαの値に基づいて、感情判別器２１における感情判別処理（後述）で用いられるロジックを選択する。ここで、当該感情推定装置１００には、ロジックＡ、Ｂ、Ｃ、Ｄ及びＥの５つのロジックが用意されている。ロジックＡは、ほとんど表情に感情が出ない母集団をベースとして機械学習により構築されたロジックである。ロジックＢは、あまり表情に感情が出ない母集団をベースとして機械学習により構築されたロジックである。ロジックＣは、感情が表情に出る人からほとんど出ない人まで幅広い人の母集団をベースとして機械学習により構築されたロジックである。ロジックＤは、表情に感情が出やすい母集団をベースとして機械学習により構築されたロジックである。ロジックＥは、表示に感情が強く出る母集団をベースとして機械学習により構築されたロジックである。

感情閾値設定器２３は、パラメータαの値が“−４”又は“−３”の場合、ロジックＡを選択する。感情閾値設定器２３は、パラメータαの値が“−２”又は“−１”の場合、ロジックＢを選択する。感情閾値設定器２３は、パラメータαの値が“０”の場合、ロジックＣを選択する。感情閾値設定器２３は、パラメータαの値が“＋１”又は“＋２”の場合、ロジックＤを選択する。感情閾値設定器２３は、パラメータαの値が“＋３”又は“＋４”の場合、ロジックＥを選択する。

感情閾値設定器２３は、選択されたロジックと、パラメータα及びβ各々の値とを感情判別器２１に送信する。感情判別器２１は、カメラ１１により撮像された画像から運転者の顔画像を抽出する。そして、感情判別器２１は、抽出された顔画像と、感情閾値設定器２３により選択されたロジックと、に基づいて運転者の感情を判別する感情判別処理を行う。具体的には例えば、感情判別器２１は、抽出された顔画像から表情の特徴量（例えば目の縦幅、口の縦幅、口の横幅、眉の位置等）を検出する。感情判別器２１は、該検出された表情の特徴量及び上記選択されたロジックを用いて、運転者の感情を判別する。

感情判別器２１は、更に、パラメータβの値に基づいて、判別された運転者の感情を補正する。具体的には、感情判別器２１は、パラメータβの値が“−３”の場合、判別された運転者の感情を不快側へ２段階シフト（補正）する。感情判別器２１は、パラメータβの値が“−２”又は“−１”の場合、判別された運転者の感情を不快側へ１段階シフトする。感情判別器２１は、パラメータβの値が“０”の場合、判別された運転者の感情を補正しない。感情判別器２１は、パラメータβの値が“＋１”又は“＋２”の場合、判別された運転者の感情を快側へ１段階シフトする。感情判別器２１は、パラメータβの値が“＋３”の場合、判別された運転者の感情を快側へ２段階シフトする。

感情判別器２１は、補正後の運転者の感情と、パラメータαの値とを結合部２５に送信する。

感情判別器２４は、マイク１２の出力信号により示される音声に基づいて、運転者の感情を判別する。感情判別器２４は、デプスセンサ１５の出力信号により示される距離情報から運転者の動作を推定し、該推定された動作に基づいて運転者の感情を判別する。尚、デプスセンサ１５の出力信号により示される距離情報から運転者の動作を推定する方法については、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。感情判定部２４は、生体センサ１６の出力信号により示される運転者の生体情報に基づいて、運転者の感情を判別する。感情判別器２４は、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情を、結合部２５に送信する。

結合部２５は、感情判別器２１からの補正後の運転者の感情（即ち、顔表情に基づいて判別された運転者の感情）と、感情判別器２４からの音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情と、を結合する。具体的には、結合部２５は、パラメータαの値に基づいて、顔表情に基づいて判別された運転者の感情の寄与度を増減した上で、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情と結合する。

顔表情に基づいて判別された運転者の感情の寄与度は、パラメータαの値が“−４”又は“−３”の場合、１５％減少され、パラメータαの値が“−２”又は“−１”の場合、１０％減少され、パラメータαの値が“０”の場合変化せず、パラメータαの値が“＋１”又は“＋２”の場合、５％増加され、パラメータαの値が“＋３”又は“＋４”の場合、１０％増加される。

顔表情に基づいて判別された運転者の感情、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情各々の元の寄与度が２５％であるとする。パラメータαの値が“−４”の場合、顔表情に基づいて判別された運転者の感情の寄与度は１０％に減少する一方、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情各々の寄与度は３０％に増加する。

感情判定部２６は、結合部２５における結合結果に基づいて、運転者の感情を判別（推定）する。

（技術的効果）
例えば顔の表情は、運転者の感情に応じて変化する。ただし、運転者の感情表現は、運転者が置かれている状況によって変化する。言い換えれば、運転者が置かれている状況は、運転者の感情表現に影響を及ぼす。

当該感情推定装置１００では、状況判定部２２により、例えば乗車人数、目的地、スケジュール等の、運転者が置かれている状況を直接的又は間接的に示す情報に基づいて、感情判別器２１における感情判別処理に用いられるロジックが選択される。そして、感情判別器２１は、該選択されたロジックと運転者の顔画像とを用いて、運転者の感情を判別する。このため、当該感情推定装置１００によれば、単に顔表情に基づいて対象者の感情が推定される場合に比べて、対象者（本実施形態では、運転者）の感情を適切に推定することができる。

＜第１変形例＞
感情推定装置に係る実施形態の第１変形例について図２を参照して説明する。図２は、実施形態の第１変形例に係る感情推定装置の構成を示すブロック図である。図２において、感情推定装置２００は、状況判定部２２、感情閾値設定器２３、感情判別部２６及び感情判別器２７を備えて構成されている。

感情判別器２７は、カメラ１１により撮像された画像から運転者の顔画像を抽出して、該抽出された顔画像（即ち、顔表情）に基づいて、運転者の感情を判別する。感情判別器２７は、マイク１２の出力信号により示される音声に基づいて、運転者の感情を判別する。感情判別器２７は、デプスセンサ１５の出力信号により示される距離情報から運転者の動作を推定し、該推定された動作に基づいて、運転者の感情を判別する。感情判定部２７は、生体センサ１６の出力信号により示される運転者の生体情報に基づいて、運転者の感情を判別する。

そして、感情判定部２７は、顔表情に基づいて判別された運転者の感情、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情を結合して、感情判別部２６に送信する。

＜第２変形例＞
感情判別器２１は、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情のうち一つを求めるように構成されてよい。そして、感情判別器２４は、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情のうち感情判別器２１により求められない感情と、顔表情に基づいて判別された運転者の感情とを求めるように構成されてよい。

＜その他変形例＞
（１）上述した実施形態では、感情判別器２４により、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情が求められるが、音声に基づいて判別された運転者の感情、動作に基づいて判別された運転者の感情及び生体情報に基づいて判別された運転者の感情のうちいずれか一つ又は二つが求められる構成であってもよい。

（２）状況判定部２２による乗車人数に基づく判定では、乗車人数（即ち、同乗者の有無）に加えて、着座位置の関係性が考慮されてもよい。

（３）状況判定部２２は、車両１が置かれている状況（例えば渋滞の有無、駐車車両や歩行者の程度、道幅、天候等）も考慮してよい。

以上に説明した実施形態及び変形例から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る感情推定装置は、車両に乗車している対象者の感情を推定する感情推定装置であって、前記対象者の感情に応じて変化する情報である第１情報を取得する第１取得手段と、前記対象者の感情表現に影響を及ぼす前記車両に係る情報を含む第２情報を取得する第２取得手段と、前記第１情報及び前記第２情報に基づいて、前記対象者の感情を推定する推定手段と、を備えるというものである。上述の実施形態においては、「カメラ１１」が「第１取得手段」の一例に相当し、「状況判定部２２」が「第２取得手段」の一例に相当し、「感情判別器２１」が「推定手段」の一例に相当する。

当該感情推定装置では、対象者の感情に応じて変化する情報に加えて、対象者の感情表現に影響を及ぼす車両に係る情報に基づいて、対象者の感情が推定される。従って、当該感情推定装置によれば、対象者の感情を適切に推定することができる。

「対象者の感情に応じて変化する情報」は、例えば顔表情、声やしゃべりかた、動作や所作、心拍数等、対象者の感情と密接に関連する該対象者の身体的な変化を示す情報を意味する。「対象者の感情表現に影響を及ぼす車両に係る情報」は、例えば同乗者の有無、対象者と同乗者との関係性、目的地等、対象者が感情を出しやすい車両の状況、或いは、対象者が感情を出しにくい車両の状況と関連性のある情報を意味する。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う感情推定装置もまた本発明の技術的範囲に含まれるものである。

１…車両、１１…カメラ、１２…マイク、１３…ナビゲーション装置、１４…通信部、１５…デプスセンサ、１６…生体センサ、２１、２４、２７…感情判別器、２２…状況判定器、２３…感情閾値設定器、２５…結合部、２６…感情判別部、１００、２００…感情推定装置

Claims (1)

1. 車両に乗車している対象者の感情を推定する感情推定装置であって、
   前記対象者の感情に応じて変化する情報である第１情報を取得する第１取得手段と、
   前記対象者の感情表現に影響を及ぼす前記車両に係る情報を含む第２情報を取得する第２取得手段と、
   前記第１情報及び前記第２情報に基づいて、前記対象者の感情を推定する推定手段と、
   を備えることを特徴とする感情推定装置。

Images