JP2017138762A - 運転者の感情推定装置 - Google Patents

Abstract

【課題】車両の走行時における運転者の感情を簡易かつ精度よく推定することのできる運転者の感情推定装置を提供する。【解決手段】運転者の感情推定装置は、車両１００の走行時における運転者及び同乗者の動作及び姿勢を含めた挙動を車室内カメラ１１０を通じて検出し、当該検出される運転者の挙動の変化量及び同乗者の挙動の変化量を比較しつつ運転者の感情を感情推定部１４０を通じて推定する。【選択図】図１

Description

本発明は、車両の走行時における運転者の感情を推定する運転者の感情推定装置に関する。

従来、この種の感情推定装置として、例えば特許文献１に記載の装置が知られている。この装置は、車両の走行時における運転者の感情の推定結果に基づいて運転支援を行うものである。そして、運転支援の一例として駐車支援を行うときにはまず、駐車の際の運転操作に関する技量を運転者の運転技量として算出するとともに、駐車の難易度を環境難易度として算出する。また、それら運転者の運転技量及び環境難易度をその都度取得される運転者の感情の情報と関連付けして感情マップとして予め作成する。その後、運転者の運転技量及び環境難易度に関するデータが新たに入力されたときには、上述した感情マップを参照しつつ運転者の感情を推定する。

特開２０１５−８４２５３号公報

ところで、上記文献に記載の装置において、運転者の運転技量及び環境難易度に関するデータは、例えば日常生活におけるログデータを取得する場合と比較して、データ取得の機会が制限される。そのため、信頼性の高い感情マップを作成する上で必要とされるデータを事前に十分な数だけ用意することは必ずしも容易ではない。

本発明は、このような実情に鑑みてなされたものであり、その目的は、車両の走行時における運転者の感情を簡易かつ精度よく推定することのできる運転者の感情推定装置を提供することにある。

上記課題を解決する運転者の感情推定装置は、車両の走行時における運転者及び同乗者の動作及び姿勢を含めた挙動を検出する挙動検出部と、前記挙動検出部により検出される運転者の挙動の変化量及び同乗者の挙動の変化量を比較しつつ運転者の感情を推定する感情推定部とを備える。

これまで、機械学習等により姿勢変化から感情を推定する研究は多く行われている。ただし、車内での姿勢変化はあまり自由が効かなかったり車両運動により特性の変化が出やすかったりするなど、車外のそれとは異なったパターンを示す。そのため、車内での感情推定には独自の推定モデルを構築することが必須となるが、道のパターンやその走行順は無限にあり、全てを考慮したモデルの構築は不可能である。そこで、上記構成によるように、運転者の感情推定に同乗者の姿勢変化を利用することで、簡易ながらも、様々なパターンに対応した車内での感情推定が高い精度で可能になる。

運転者の感情推定装置の一実施の形態の概略構成を示すブロック図。 （ａ）〜（ｃ）は、ＳＶＭ（サポートベクトルマシン）による運転者の感情推定についての判断基準の設定態様の一例を示すグラフ。 運転者の感情推定処理の処理手順を示すフローチャート。

以下、運転者の感情推定装置の一実施の形態について説明する。
本実施の形態の感情推定装置は、車両の走行時における運転者の動作及び姿勢を含めた挙動の特徴量だけでなく、同乗者の動作及び姿勢を含めた挙動の特徴量も併せて検出し、それら検出した特徴量を比較しつつ運転者の感情を推定するものである。

はじめに、本実施の形態の装置の構成について図面を参照して説明する。
図１に示すように、車両１００は、例えばキネクト（登録商標：ＫＩＮＥＣＴ）等、各画素値を距離の値に置き換えて生成した運転者及び同乗者の距離画像を撮影する車室内カメラ１１０を備えている。この車室内カメラ１１０を通じて撮影された運転者の距離画像は第１の特徴量算出部１２０に送られ、運転者の挙動を表す第１の特徴量の算出に用いられる。また、同じく車室内カメラ１１０を通じて撮影された同乗者の距離画像は第２の特徴量算出部１３０に送られ、同乗者の挙動を表す第２の特徴量の算出に用いられる。なお、各特徴量算出部１２０，１３０により算出される特徴量の種類は共通である。

具体的には、各特徴量算出部１２０，１３０はまず、車室内カメラ１１０から入力される各フレーム画像毎の距離画像から運転者又は同乗者の手、頭、足といった各部位の三次元配置を抽出する。そして、各特徴量算出部１２０，１３０は、こうして抽出した各部位の三次元配置から擬似的な骨格モデルを生成し、この生成した骨格モデルから特徴量を算出する。ここで、特徴量は、例えば上半身の傾き度合いや座り直しの頻度等、複数のデータ要素により構成されている。そして、各特徴量算出部１２０，１３０による特徴量の算出結果は、車両の走行が開始された直後にあっては各対応する特徴量データベースＤＢ１，ＤＢ２に初期値として格納される。また、車両の走行を開始してから所定時間が経過したときには、これら特徴量の初期値が特徴量データベースＤＢ１，ＤＢ２から読み出され、各特徴量算出部１２０，１３０がその都度算出する特徴量の現在値と併せて感情推定部１４０による運転者の感情の推定に用いられる。

こうした運転者の感情の推定方法の具体例として、感情推定部１４０はまず、第１の特徴量データベースＤＢ１から読み出される第１の特徴量の初期値をＰ１ｓとし、第１の特徴量算出部１２０からその都度入力される第１の特徴量の現在値をＰ１としたとき、これらの差分をとることにより車両の走行開始からの第１の特徴量の変化量ΔＰ１（＝Ｐ１−Ｐ１ｓ）を算出する。また、感情推定部１４０は、第２の特徴量データベースＤＢ２から読み出される第２の特徴量の初期値をＰ２ｓとし、第２の特徴量算出部１３０からその都度入力される第２の特徴量の現在値をＰ２としたとき、これらの差分をとることにより車両の走行開始からの第２の特徴量の変化量ΔＰ２（＝Ｐ２−Ｐ２ｓ）を算出する。そして、感情推定部１４０は、第２の特徴量の変化量ΔＰ２に対する第１の特徴量の変化量ΔＰ１の比率をＶｐ（＝ΔＰ１／ΔＰ２）としたとき、車両の走行開始からの比率の変化量ΔＶｐ（＝｜Ｖｐ−１｜）を運転者の感情の推定に用いる入力値として算出する。

ここで、感情推定部１４０による運転者の感情の推定は、例えばラッセルの円環モデルで表される感情の種類を対象とするものであり、本実施の形態では、対象とする種類の感情に該当するか否かの識別手法の一例としてＳＶＭ（サポートベクトルマシン）を採用している。このＳＶＭは、二つのクラスに予め分類された教師データに対する統計処理を通じてそれらクラスを識別する判断基準を定めておき、未知のデータが新たに入力されたときにその定めておいた判断基準を基にクラス分けを行う識別手法の一種である。

図２（ａ）は、対象とする感情の種類が「いらだち」という感情とし、特徴量を構成する複数のデータ要素のうち上半身の傾き度合い及び座り直しの頻度という二種類のデータ要素をそれぞれ縦軸及び横軸としたときに、上述した入力値の教師データを二次元状にプロットした学習モデル１４０Ａの一例を示している。同図に示す例では、「いらだち」という感情に該当するときの教師データが○印で表記されるとともに、「いらだち」という感情に該当しないときの教師データが×印で表記されている。同図に示されるように、「いらだち」という感情に該当するときの教師データは上述した各データ要素についての入力値が大きい傾向にあるデータ群となる一方で、「いらだち」という感情に該当しないときの教師データは上述した各データ要素についての入力値が小さい傾向にあるデータ群となる。

これは、例えば運転者の運転姿勢に制約がある点に着目すれば、車両の走行に伴って運転者及び同乗者の双方が同様に「いらだち」という感情に達したとしても運転者の挙動の頻度が相対的に多くなりやすく、同乗者の挙動を表す第２の特徴量の変化量ΔＰ２に対する運転者の挙動を表す第１の特徴量の変化量ΔＰ１の比率Ｖｐが低下して上述した入力値（比率Ｖｐの変化量ΔＶｐ）が大きくなると考えられるためである。

また、例えば車両の運転操作を行うのが運転者のみである点に着目すれば、車両の走行に伴って運転者が「いらだち」という感情に達したとしても運転操作を何ら行っていない同乗者の挙動は相対的に変化しにくく、同乗者の挙動を表す第２の特徴量の変化量ΔＰ２に対する運転者の挙動を表す第１の特徴量の変化量ΔＰ１の比率Ｖｐが増大してこの場合も上述した入力値（比率Ｖｐの変化量ΔＶｐ）が大きくなると考えられるためである。

このように上述した何れの点に着目するかによって、車両の走行に伴って特徴量の変化量の比率Ｖｐが増加傾向及び減少傾向の何れを示すかは異なるものの、比率Ｖｐの変化量ΔＶｐが大きくなる点では共通した傾向を示す。そのため、車両の走行に伴って上述した何れかの点の傾向が相対的に強く見られるような状況では、比率Ｖｐの変化量ΔＶｐが大きくなりやすく、図２（ａ）に示した教師データのデータ群と分布の傾向が一致することとなる。

そして図２（ａ）に示すように、「いらだち」という感情に該当するときの教師データと「いらだち」という感情に該当しないときの教師データとを識別する境界線が算出される。このとき、双方の教師データについて境界線から最も近い位置にある教師データと境界線との距離をマージンＤとしたとき、マージンＤを最大化する境界線がＳＶＭによる判断基準ＳＴとして設定される。こうして判断基準ＳＴが設定されて以降は、車両１００の走行時に新たに算出された入力値に対して判断基準ＳＴを適用することにより、「いらだち」という感情に該当するか否かが推定される。

具体的には、図２（ｂ）において白抜きの星印「☆」で示すように、車両１００の走行時に新たに算出された各データ要素についての入力値の組み合わせが判断基準ＳＴよりも大きい傾向にあるときには、運転者の感情が「いらだち」という状態にあると推定される。また、図２（ｂ）において黒塗りの星印「★」で示すように、車両１００の走行時に新たに算出された各データ要素についての入力値の組み合わせが判断基準ＳＴよりも小さい傾向にあるときには、運転者の感情が「いらだち」という状態にはないと推定される。そして、こうして運転者の感情が推定されると、その推定に用いた入力値のデータが運転者の感情の推定結果と関連付けられつつ教師データとして追加される。すなわち、図２（ｂ）において白抜きの星印「☆」で示された入力値のデータが「いらだち」という感情に該当するときの教師データとして追加される一方で、図２（ｂ）において黒塗りの星印「★」で示された入力値のデータが「いらだち」という感情に該当しないときの教師データとして追加される。

これにより、図２（ｃ）に示すように、追加された教師データも含め、ＳＶＭによる判断基準ＳＴが新たに設定される。同図に示す例では、白抜きの星印「☆」で示された入力値のデータが図２（ｂ）に示す例において「いらだち」という感情に該当するときの何れの教師データよりも境界線（判断基準ＳＴ）に近い位置にある。そのため、白抜きの星印「☆」で示された入力値、及び「いらだち」という感情に該当しないときの教師データの双方からの距離（マージンＤ’）が最大となる境界線がＳＶＭによる判断基準ＳＴとして新たに設定される。すなわち、車両１００の運転者ごとの特性を加味しつつ、ＳＶＭによる判断基準ＳＴが次第に更新されていく。

次に、上記実施の形態の感情推定装置が実行する運転者の感情推定処理について、その具体的な処理手順を説明する。ここで、感情推定装置は、車両１００のイグニッションスイッチがオンとなったことを条件に、図３に示す感情推定処理を開始する。

図３に示すように、この感情推定処理ではまず、乗車後から所定時間内（例えば６０秒以内）であるときには（ステップＳ１０＝ＹＥＳ）、すなわち車両１００のイグニッションスイッチがオンとなってからの経過時間が所定時間内であるときには、運転者の動作及び姿勢を含めた挙動を車室内カメラ１１０を通じて検出するとともに（ステップＳ１１）、当該検出した運転者の挙動を表す特徴量を第１の特徴量として第１の特徴量算出部１２０を通じて算出する（ステップＳ１２）。また同様に、同乗者の動作及び姿勢を含めた挙動を車室内カメラ１１０を通じて検出するとともに（ステップＳ１３）、当該検出した同乗者の挙動を表す特徴量を第２の特徴量として第２の特徴量算出部１３０を通じて算出する（ステップＳ１４）。また、先のステップＳ１２において算出した第１の特徴量、及び先のステップＳ１４において算出した第２の特徴量を各対応する特徴量データベースＤＢ１，ＤＢ２に格納する（ステップＳ１５）。そして以降、乗車後から所定時間が経過するまでの間は（ステップＳ１０＝ＹＥＳ）、先のステップＳ１０〜Ｓ１５の処理を繰り返すことにより、運転者及び同乗者の乗車後の早い段階における挙動の特徴量を各対応する特徴量データベースＤＢ１，ＤＢ２に蓄積する。

一方、乗車から所定時間が経過したときには（ステップＳ１０＝ＮＯ）、まず最初に運転者の動作及び姿勢を含む挙動を車室内カメラ１１０を通じて検出するとともに（ステップＳ１６）、当該検出した運転者の挙動の特徴量の現在値を第１の特徴量として第１の特徴量算出部１２０を通じて算出する（ステップＳ１７）。そして、こうして算出した第１の特徴量の現在値から第１の特徴量の初期値を差し引くことにより、運転開始からの第１の特徴量の変化量を感情推定部１４０を通じて算出する（ステップＳ１８）。ここで、第１の特徴量の初期値としては、例えば先のステップＳ１０〜Ｓ１５の処理を繰り返す中で第１の特徴量データベースＤＢ１に蓄積された第１の特徴量の平均値が用いられる。また同様に、同乗者の動作及び姿勢を含む挙動を車室内カメラ１１０を通じて検出するとともに（ステップＳ１９）、当該検出した同乗者の挙動の特徴量の現在値を第２の特徴量として第２の特徴量算出部１３０を通じて算出する（ステップＳ２０）。そして、こうして算出した第２の特徴量の現在値から第２の特徴量の初期値を差し引くことにより、運転開始からの第２の特徴量の変化量を感情推定部１４０を通じて算出する（ステップＳ２１）。ここでも、第２の特徴量の初期値としては、例えば先のステップＳ１０〜Ｓ１５の処理を繰り返す中で第２の特徴量データベースＤＢ２に蓄積された第２の特徴量の平均値が用いられる。また、先のステップＳ１８において算出した第１の特徴量の変化量及び先のステップＳ２１において算出した第２の特徴量の変化量を用いつつ、運転者の感情の推定に用いる入力値を感情推定部１４０を通じて算出する（ステップＳ２２）。そして、こうして算出した入力値を入力として、学習モデル１４０Ａを参照しつつ運転者の感情を感情推定部１４０を通じて推定するとともに（ステップＳ２３）、運転者の感情の推定に用いられた入力値を教師データとして追加しつつ学習モデル１４０Ａを更新する（ステップＳ２４）。その後、車両１００のイグニッションスイッチがオンとなっている間は（ステップＳ２５＝ＮＯ）、その処理をステップＳ１０に戻し、ステップＳ１０，Ｓ１６〜Ｓ２４の処理を繰り返す。そして、車両１００のイグニッションスイッチがオフとなった時点で（ステップＳ２５＝ＹＥＳ）、図３に示す運転者の感情推定処理を終了する。

以上説明したように、本実施の形態によれば、以下に示す効果を得ることができる。
車両１００の走行時に運転者及び同乗者の各々が置かれる環境が互いに異なる点に鑑みて、車両の走行時における運転者の挙動の変化量だけでなく同乗者の挙動の変化量も併せて検出し、それら挙動の変化量を比較しつつ運転者の感情の推定を行うようにしている。これにより、簡易ながらも、様々なパターンに対応した車内での運転者の感情推定を高い精度で行うことが可能となる。

なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態においては、運転者及び同乗者の挙動の検出に用いる映像として車室内カメラ１１０を通じて撮影される距離画像を用いるようにした。ただし、運転者及び同乗者の挙動を検出することが可能であれば、当該挙動の検出に用いる映像として二次元画像を用いるようにしてもよい。

・上記実施の形態においては、図２（ａ）〜（ｃ）に示したように運転者及び同乗者の挙動の特徴量が、上半身の傾き度合い及び座り直しの頻度という二種類のデータ要素を用いる場合を例に挙げて説明した。ただし、挙動の特徴量を構成するデータ要素はこれに限らず、例えば右手の速度、頭の速度、肩の移動量、手首の速度、左手の速度等、他のデータ要素を用いることも可能である。

・上記実施の形態においては、運転者の感情の推定に用いる入力値として、運転者の挙動を表す第１の特徴量の変化量ΔＰ１及び同乗者の挙動を表す第２の特徴量の変化量ΔＰ２についての運転開始からの比率Ｖｐの変化量ΔＶｐを用いるようにした。これに代えて、例えばこれら第１の特徴量の変化量ΔＰ１及び第２の特徴量の変化量ΔＰ２の差分の絶対値Ｚ（＝｜ΔＰ１−ΔＰ２｜）を用いるようにしてもよい。要は、運転者の挙動の変化量と同乗者の挙動の変化量とを比較しつつ得られるパラメータであればよい。

・上記実施の形態においては、運転者の感情の推定に用いる識別手法としてＳＶＭを用いるようにした。これに代えて、ナイーブベイズ識別法やニューラルネットワーク等の他の識別手法を用いるようにしてもよい。

１００…車両、１１０…車室内カメラ、１２０…第１の特徴量算出部、１３０…第２の特徴量算出部、１４０…感情推定部、１４０Ａ…学習モデル、ＤＢ１…第１の特徴量データベース、ＤＢ２…第２の特徴量データベース。

Claims (1)

1. 車両の走行時における運転者及び同乗者の動作及び姿勢を含めた挙動を検出する挙動検出部と、
   前記挙動検出部により検出される運転者の挙動の変化量及び同乗者の挙動の変化量を比較しつつ運転者の感情を推定する感情推定部と
   を備える
   運転者の感情推定装置。