JP2018081622A

JP2018081622A - 運転支援装置および運転支援方法

Info

Publication number: JP2018081622A
Application number: JP2016225068A
Authority: JP
Inventors: 正雄山中; Masao Yamanaka; 西島　敏文; Toshifumi Nishijima; 敏文西島
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2016-11-18
Filing date: 2016-11-18
Publication date: 2018-05-24
Anticipated expiration: 2036-11-18
Also published as: JP6772775B2

Abstract

【課題】危険な運転状態を精度よく検知する。【解決手段】車両の危険な運転状態を検知する運転支援装置であって、前記車両の運転者に関する情報である乗員情報を取得する乗員情報取得手段と、前記車両の外部環境に関する情報である環境情報を取得する環境情報取得手段と、前記車両に関する情報である車両情報を取得する車両情報取得手段と、前記乗員情報と、前記環境情報と、前記車両情報と、に基づいて、評価対象の運転に対応する特徴ベクトルである第一の特徴ベクトルを取得する第一の特徴ベクトル取得手段と、正常な運転に対応する前記特徴ベクトルである第二の特徴ベクトルを取得する第二の特徴ベクトル取得手段と、前記第一の特徴ベクトルと、第二の特徴ベクトルとの統計的分布の相違に基づいて、前記評価対象の運転に対する危険度を算出する危険度算出手段と、を有する。【選択図】図１

Description

本発明は、車両の運転を支援する装置に関する。

漫然運転などの危険な運転を検知する方法として、たとえば、特許文献１に記載されたような方法が提案されている。特許文献１に記載の装置では、あらかじめ、漫然運転時における車両運転者の注視情報の統計的分布を定義し、評価時に得られた車両運転者の注視情報の統計的分布との類似性を評価することで、漫然運転の可能性を推定している。

また、危険な運転を検知する方法として、たとえば、特許文献２に記載されたような方法が提案されている。特許文献２に記載の装置では、車両運転者の視線方向を所定時間検出して、視線方向の分布を示す視線分布情報を生成し、得られた視線分布情報によって示される分布の所定位置が、あらかじめ定義した基準情報により示される、漫然運転でない状態の視線方向の標準的な位置よりも上方向に所定閾値以上離れている場合に、危険な運転であると判定している。

また、危険な運転を検知する方法として、たとえば、特許文献３に記載されたような方法が提案されている。特許文献３に記載の装置では、車両運転者の心電図（Ｒ波形）から、心拍間隔ＲＲＩを求め、各時刻の心拍間隔ＲＲＩを記憶するとともに、その時系列データから異常パターンを検出することで、危険な運転を検知している。

また、危険な運転を検知する方法として、たとえば、特許文献４に記載されたような方法が提案されている。特許文献４に記載の装置では、車両位置、道路状況、車両挙動、車両運転者の精神状態などの関係性に基づいて危険度レベルを定義し、その危険度レベルが、あらかじめ定めた閾値以上である場合に、危険な運転であると判定している。

特開平０８−１７８７１２号公報特開２００８−２４３０３１号公報特開２０１０−１６２２８２号公報特開２０１４−２０６９０６号公報特開２００８−０５８４５９号公報特開２００８−１３９５５３号公報特開平０３−１６５７３７号公報

車載カメラによる運転者の完全自動視線計測手法 Vol.2013-CVIM-185 No.39 高田晴子，高田幹夫，金山愛，心拍変動周波数解析のLF成分・HF成分と心拍変動係数の意義：加速度脈波測定システムによる自律神経機能評価総合検診，Vol. 32，No. 6，pp.504-512 (2005). 山中正雄，斎藤俊太，青木義満，人体の部位の位置の大域的構造に基づく車両内乗員の行動認識手法，画像センシングシンポジウム2016 森永啓詩，花塚泰史，若尾泰通，小林克宏，タイヤセンサを使った路面状態判定システムの開発，自動車技術 65(12) ，97-98，2011-12-01s Kanamori, T., Hido, S., & Sugiyama, M., A least-squares approach to direct importance estimation, Journal of Machine Learning Research, vol.10 (Jul.), pp.1391-1445, 2009. Yamada, M., Suzuki, T., Kanamori, T., Hachiya, H., & Sugiyama, M., Relative density-ratio estimation for robust distribution comparison, Neural Computation, vol.25, no.5, pp.1324-1370, 2013. Sugiyama, M., Kanamori, T., Suzuki, T., du Plessis, M. C., Liu, S., & Takeuchi, I., Density difference estimation, IEICE Technical Report IBISML2012-8, pp.49-56, Kyoto, Japan, Jun. 19-20, 2012.

しかしながら、前述した各特許文献に開示される技術は、次のような問題を有している。

例えば、特許文献１に記載の発明では、漫然運転時における車両運転者の注視情報の統計的分布としてあらかじめ定義していないものに対して、推定精度が低下してしまう。

また、特許文献２に記載の発明では、漫然運転時と漫然運転時でない状態との視線分布情報の相違が標準的な位置ではなく、統計的分布の相違（たとえば、尖度、歪度、分散など）に表れる場合において、推定精度が低下してしまう。

また、特許文献３に記載の発明では、車両運転者のバイタル変化として表出しない、車両挙動（たとえば、速度や加速度など）や車両外環境（たとえば、天候や路面状況など）に起因するものに対して、推定精度が低下してしまう。

また、特許文献４に記載の発明では、人があらかじめ定義することが困難な潜在的危険（上記複数の要因が複雑に絡んだ状況）に対して、推定精度が低下してしまう。

本発明は上記の課題を考慮してなされたものであり、危険な運転状態を精度よく検知する技術を提供することを目的とする。

本発明に係る運転支援装置は、車両の危険な運転状態を検知する運転支援装置である。危険な運転状態とは、安全な運転ができていない状態を指し、例えば、漫然運転、居眠り運転、過労運転などが発生している状態である。また、危険な運転状態は、運転者本人に起因するものでなくてもよい。例えば、車両や環境の状態に起因して安全に車両を運行できない環境下における運転状態も含まれる。

本発明に係る運転支援装置は、車両の運転者に関する情報である乗員情報を取得する乗員情報取得手段と、前記車両の外部環境に関する情報である環境情報を取得する環境情報取得手段と、前記車両に関する情報である車両情報を取得する車両情報取得手段と、前記乗員情報と、前記環境情報と、前記車両情報と、に基づいて、評価対象の運転に対応する特徴ベクトルである第一の特徴ベクトルを取得する第一の特徴ベクトル取得手段と、正常な運転に対応する前記特徴ベクトルである第二の特徴ベクトルを取得する第二の特徴ベクトル取得手段と、前記第一の特徴ベクトルと、第二の特徴ベクトルとの統計的分布の相違に基づいて、前記評価対象の運転に対する危険度を算出する危険度算出手段と、を有する。

乗員情報とは、運転者をセンシングして得られる情報であり、典型的には、視線情報、顔の向き、生体情報、運転行動の分類結果などであるが、これらに限られない。
また、環境情報とは、車両外部の環境をセンシングして得られる情報であり、典型的には、天候、路面の状態、障害物の位置や距離などであるが、これらに限られない。
また、車両情報とは、車両をセンシングして得られる情報であり、典型的には、速度、位置情報、エンジン回転数、舵角、ブレーキ力、前後加速度、左右加速度、ヨーレートなどであるが、これらに限られない。

また、第一の特徴ベクトル取得手段は、取得した乗員情報、環境情報、車両情報に基づいて、評価対象の運転に対応する特徴ベクトル（第一の特徴ベクトル）を取得する。取得された特徴ベクトルは、正常な運転に対応する特徴ベクトルである第二の特徴ベクトルと比較され、双方の統計的分布（例えば確率密度など）の相違に基づいて危険度が算出される。
かかる構成によると、運転者、周辺環境、車両状態の三つに基づいて危険な状態であるか否かを判定することができるため、危険運転の判定精度を向上させることができる。

また、前記乗員情報、前記環境情報、前記車両情報は、それぞれ時系列データで表された複数の特徴量を要素に持つ多次元ベクトルであることを特徴としてもよい。

複数の特徴量を時系列形式で保持することで、状態の時間変化を考慮して判定を行うことができる。

また、前記乗員情報は、乗員の視線位置、顔の向き、バイタル値、運転行動を分類した行動ラベル、のうち少なくとも一つを要素に持つ多次元ベクトルであることを特徴としてもよい。

バイタル値とは、運転者の生体情報である。バイタル値は、例えば、心拍数や呼吸数など、生体を直接センシングして得られる情報であってもよいし、ストレスレベルや覚醒度など、センシング結果に基づいて間接的に得られる情報であってもよい。また、行動ラベルとは、運転者が行っている動作や運転行動を分類した結果を表す値である。

また、前記環境情報は、車両外の天気、路面状況、障害物の位置に関する情報、のうち少なくとも一つを要素に持つ多次元ベクトルであることを特徴としてもよい。

障害物の位置に関する情報とは、例えば、障害物の絶対位置や自車に対する相対位置、自車との距離などである。また、障害物とは、他の自動車であってもよいし、自転車や歩行者などであってもよい。また、建築物や構造物などの固定された物体であってもよい。

また、前記車両情報は、車両の速度、加速度、舵角、ヨーレート、のうち少なくとも一つを要素に持つ多次元ベクトルであることを特徴としてもよい。

これらの情報は、ＣＡＮ（Controller Area Network）などの車内ネットワークから取
得することができる。

また、前記危険度算出手段は、前記第一の特徴量と、第二の特徴量との確率密度の比に基づいて前記統計的分布の相違を算出することを特徴としてもよく、前記危険度算出手段は、前記第一の特徴量と、第二の特徴量との確率密度の差に基づいて前記統計的分布の相違を算出することを特徴としてもよい。

確率密度の比または差を利用することで、統計的分布の相違を正確に取得することができる。

また、本発明に係る運転支援装置は、前記統計的分布の相違の大きさを可視化し、前記運転者に提示する表示手段をさらに備えることを特徴としてもよい。

例えば、相違が大きいほど目立つ表示を行うようにしてもよい。かかる構成によると、現在の運転状態が、正常な運転状態からどれだけ乖離しているかを運転者に直感的に伝達することができる。

また、本発明に係る運転支援装置は、前記統計的分布の相違の大きさに基づいて、前記運転者に刺激を与える刺激発生手段をさらに備えることを特徴としてもよい。
また、前記刺激発生手段は、前記統計的分布の相違の大きさに基づいて運転席の少なくとも一部を振動させることを特徴としてもよい。
また、前記刺激発生手段は、前記統計的分布の相違の大きさに基づいて警告音を発することを特徴としてもよい。

このように、振動や音声によって相違の大きさを伝達することで、現在の運転状態が、正常な運転状態からどれだけ乖離しているかを運転者に直感的に伝達することができる。なお、振動させる対象は、運転席が着座しているシート自体であってもよいし、シートベルト、ステアリングホイールの一部などであってもよい。

なお、本発明は、上記手段の少なくとも一部を含む運転支援装置として特定することができる。また、前記運転支援装置が行う運転支援方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、危険な運転を精度よく検知する技術を提供することができる。

実施形態に係る運転支援装置のシステム構成図である。時系列形式で表される乗員情報を説明する図である。運転者の視線検出を説明する図である。障害物の位置検出を説明する図である。統計的分布の相違を視覚的に表示する例である。実施形態に係る運転支援装置の処理フローチャート図である。

以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る運転支援装置は、収集した情報に基づいて危険な運転状態が発生していることを検出し、自動車の運転者に対して警告を行う装置である。なお、危険な運転状態とは、危険な状態を生じさせている運転状態を指し、運転者本人に起因するものでなくてもよい。

図１は、本実施形態に係る運転支援装置１のシステム構成図である。本実施形態に係る運転支援装置１は、乗員情報取得部１１、環境情報取得部１２、車両情報取得部１３、特徴ベクトル算出部１４、正常データ記憶部１５、比較部１６、画像表示部１７、刺激発生部１８を有する。

運転支援装置１は、ＣＰＵ、主記憶装置、補助記憶装置を有する情報処理装置として構成することができる。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで、図１に図示した各手段が機能する。なお、図示した機
能の全部または一部は、専用に設計された回路（半導体集積回路など）を用いて実行されてもよい。

乗員情報取得部１１は、車両に備えられた第一のセンサ（不図示）から、運転者に関する情報を収集し、特徴量に変換したうえで、時系列形式で出力する手段である。本実施形態では、乗員情報取得部１１は、収集した情報を、複数の特徴量を持つ多次元ベクトル（乗員情報と称する）に変換して出力する。

環境情報取得部１２は、車両に備えられた第二のセンサ（不図示）から、車両外の環境に関する情報を収集し、特徴量に変換したうえで、時系列形式で出力する手段である。本実施形態では、環境情報取得部１２は、収集した情報を、複数の特徴量を持つ多次元ベクトル（環境情報と称する）に変換して出力する。

車両情報取得部１３は、車両に備えられた第三のセンサ（不図示）から、車両の状態に関する情報を収集し、特徴量に変換したうえで、時系列形式で出力する手段である。本実施形態では、車両情報取得部１３は、収集した情報を、複数の特徴量を持つ多次元ベクトル（車両情報と称する）に変換して出力する。

ここで、乗員情報、環境情報、車両情報の具体例について説明する。
乗員情報は、時刻tにおける運転者の視線位置Ｐ₁（ｔ）、顔向きＰ₂（ｔ）、バイタル
値Ｐ₃（ｔ）、行動ラベルＰ₄（ｔ）を要素にもつ多次元ベクトルＰ（ｔ）＝｛Ｐ₁（ｔ）
，Ｐ₂（ｔ），Ｐ₃（ｔ），Ｐ₄（ｔ）｝によって表される。

Ｐ（ｔ）は、図２に示したように、時間的に連続したＴ個の情報を持つ多次元ベクトルである。例えば、Ｔ＝３である場合、ｔ＝０における乗員情報Ｐ（０）は、｛Ｐ₁（０）
，Ｐ₂（０），Ｐ₃（０），Ｐ₄（０），Ｐ₁（１），Ｐ₂（１），Ｐ₃（１），Ｐ₄（１），
Ｐ₁（２），Ｐ₂（２），Ｐ₃（２），Ｐ₄（２）｝の、４×３次元のベクトルで与えられる。
また、ｔ＝１における乗員情報Ｐ（１）は、｛Ｐ₁（１），Ｐ₂（１），Ｐ₃（１），Ｐ₄（１），Ｐ₁（２），Ｐ₂（２），Ｐ₃（２），Ｐ₄（２），Ｐ₁（３），Ｐ₂（３），Ｐ₃（
３），Ｐ₄（２）｝で与えられる。

ここで、Ｔの数は、試行錯誤的に決定すればよい。例えば、システム全体に要求される危険運転の識別性能に応じて決定してもよいし、システム全体に要求される処理時間に応じて決定してもよい。

乗員情報Ｐ_n（ｔ）を構成する各特徴量について説明する。
視線位置Ｐ₁（ｔ）は、車両に備えられたカメラによって運転者の眼を撮影し、得られ
た画像（以下、眼画像）に基づいて取得することができる。例えば、図３は、時刻ｔにおける運転者の視線位置が、（ｘ_e（ｔ），ｙ_e（ｔ））にあると判定している例である。なお、ＸＹ座標は、同時に取得した、車両の前方方向を撮影した画像（以下、前方画像）に対応する座標であるものとする。

ここで、車両運転者の視線方向は、たとえば、可視光感知カメラと赤外光感知カメラによって撮影された二つの眼画像の差分画像を、適当な閾値と比較することによって虹彩部分を抽出することで取得することができる。そして、眼画像を撮影するカメラと前方画像を撮影するカメラの位置関係等に基づいて、時刻ｔにおける車両運転者の視線位置（ｘ_e
（ｔ），ｙ_e（ｔ））を取得することができる。

運転者の顔向きＰ₂（ｔ）は、車両に備えられたカメラによって運転者の顔画像を撮影
し、当該顔画像に基づいて取得することができる。顔向きとは、例えば、Ｘ軸，Ｙ軸，Ｚ軸にそれぞれ対する傾き（θ_x（ｔ），θ_y（ｔ），θ_z（ｔ））によって表すことができ
る。
運転者の顔向きは、例えば、非特許文献１に開示されているように、顔画像から目頭、目じり、鼻などの特徴点を抽出し、得られた特徴点によって構成される幾何学的形状に基づいて推定することができる。なお、運転者の顔向きを取得するためのカメラは、運転者の視線位置を取得するためのカメラを兼ねていてもよい。

バイタル値Ｐ₃（ｔ）とは、運転者の生体的情報を表す値である。バイタル値には、例
えば、ストレスレベル、覚醒度、疲労度などの、運転に影響する指標を用いることができる。また、バイタル値は、例えば、市販されているリストバンド型端末を着用することで取得することができる（非特許文献２参照）。

行動ラベルＰ₄（ｔ）とは、運転者が行っている動作や運転行動を分類した結果を表す
値である。行動ラベルは、例えば、着座している運転者の全身画像を取得し、得られた全身画像に基づいて推定することができる。
例えば、非特許文献３に開示されているように、深層学習を用いて車両内乗員の人体の部位を検出し、得られた人体の部位の大域的構造に基づいて行動ラベルを推定する技術が知られている。

次に、環境情報について説明する。
環境情報は、時刻tにおける天気Ｅ₁（ｔ）、路面状況Ｅ₂（ｔ）、周辺車両の位置Ｅ₃（ｔ）、周辺車両との相対距離Ｅ₄（ｔ）、歩行者の位置Ｅ₅（ｔ）、歩行者との相対距離Ｅ₆（ｔ）、自転車の位置Ｅ₇（ｔ）、自転車との相対距離Ｅ₈（ｔ）を要素にもつ多次元ベ
クトルＥ（ｔ）＝｛Ｅ₁（ｔ），Ｅ₂（ｔ），Ｅ₃（ｔ），Ｅ₄（ｔ），Ｅ₅（ｔ），Ｅ₆（ｔ），Ｅ₇（ｔ），Ｅ₈（ｔ）｝によって表される。
環境情報Ｅ（ｔ）も、乗員情報Ｐ（ｔ）と同様に、時間的に連続したＴ個の情報を持つ多次元ベクトルである。

天気Ｅ₁（ｔ）は、時刻ｔにおける車両位置の天気（たとえば、晴れ、曇り、雨、雪、
濃霧など）を表す値である。天気Ｅ₁（ｔ）は、例えば、ネットワークを経由して、車両
位置における現在の気象情報を取得することで得ることができる。

路面状況Ｅ₂（ｔ）は、時刻ｔにおける路面状況（たとえば、乾燥，半湿，湿潤，積雪
，圧雪，凍結，シャーベットなど）を表す値である。路面状況Ｅ₂（ｔ）は、例えば、非
特許文献４に開示されているように、車両に設置したセンサを用いて取得することができる。

周辺車両の位置Ｅ₃（ｔ）は、図４のように、車両に対して横方向をＸ軸、進行方向を
Ｙ軸とした場合における、時刻tにおける周辺車両の座標（ｘ_c（ｔ），ｙ_c（ｔ））を表
す値である。周辺車両の座標は、例えば、車両外に設置したＬＩＤＡＲセンサを用いて取得することができる。

また、周辺車両との相対距離Ｅ₄（ｔ）は、図４のように、車両に対して横方向をＸ軸
、進行方向をＹ軸とした場合における、時刻tにおける周辺車両までのユークリッド距離
ｒ_cを表す値である。

なお、歩行者の位置Ｅ₅（ｔ）、歩行者との相対距離Ｅ₆（ｔ）、自転車の位置Ｅ₇（ｔ
）、自転車との相対距離Ｅ₈についても、周辺車両と同様の方法によって取得を行えばよ
いため、詳細な説明は省略する。

次に、車両情報について説明する。
車両情報は、時刻tにおける車速Ｃ₁（ｔ）、車両の位置Ｃ₂（ｔ）、エンジン回転数Ｃ₃（ｔ）、ステアリング角度Ｃ₄（ｔ）、ブレーキ油圧Ｃ₅（ｔ）、前後加速度Ｃ₆（ｔ）、
横加速度Ｃ₇（ｔ）、ヨーレートＣ₈（ｔ）を要素にもつ多次元ベクトルＣ（ｔ）＝｛Ｃ₁
（ｔ），Ｃ₂（ｔ），Ｃ₃（ｔ），Ｃ₄（ｔ），Ｃ₅（ｔ），Ｃ₆（ｔ），Ｃ₇（ｔ），Ｃ₈（
ｔ）｝によって表される。これらの情報は、ＣＡＮ（Controller Area Network）から取
得することができる。
車両情報Ｃ（ｔ）も、乗員情報Ｐ（ｔ）および環境情報Ｅ（ｔ）と同様に、時間的に連続したＴ個の情報を持つ多次元ベクトルである。

運転支援装置１を構成する各要素の説明に戻る。
特徴ベクトル算出部１４は、乗員情報取得部１１が出力した乗員情報と、環境情報取得部１２が出力した環境情報と、車両情報取得部１３が出力した車両情報とを統合する手段である。
具体的には、乗員情報Ｐ（ｔ）と、環境情報Ｅ（ｔ）と、車両情報Ｃ（ｔ）とを連結し、時刻ｔにおける特徴ベクトルＦ（ｔ）＝（Ｐ（ｔ），Ｅ（ｔ），Ｃ（ｔ））（ｔ＝１，２，…，Ｔ）を算出する。
なお、乗員情報、環境情報、車両情報は、複数のタイムステップを含んでいるため、統合によって得られた特徴ベクトルも、タイムステップの数に応じた多次元ベクトルとなる。以降、統合によって得られる特徴ベクトルＦ（ｔ）を評価データ（本発明における第一の特徴ベクトル）と称する。

正常データ記憶部１５は、優良運転者が行った運転（危険な事象が含まれていない運転。以下、平常運転と称する）に基づいて生成された特徴ベクトルＦ’（ｔ）（ｔ＝１，２，…，Ｔ’）を記憶する手段である。なお、ここで用いるＴ’は、評価データＦ（ｔ）の算出に用いた値Ｔと同じであってもよいし、異なってもよい。以降、平常運転に基づいて生成した特徴ベクトルＦ’（ｔ）を正常データ（本発明における第二の特徴ベクトル）と称する。

なお、正常データ記憶部１５が記憶する正常データＦ’（ｔ）は、一人の運転者に平常運転をさせることで生成してもよいが、年齢や性別など、様々なタイプの複数人に平常運転をさせることで生成するようにしてもよい。
また、正常データは、外部装置を用いて生成してもよいし、運転支援装置１を用いて生成してもよい。運転支援装置１を用いて正常データを生成する場合、特徴ベクトル算出部１４が算出した特徴ベクトルを、正常データとして正常データ記憶部１５に記憶させるようにすればよい（図１の点線）。

また、正常データを生成するための運転を行う運転者と、運転支援装置１によって評価を受ける運転者は同一人物であってもよい。例えば、ある運転者が平常運転を行うことで正常データを生成した後で、同一の運転者が、運転支援装置１によって評価を受けてもよい。また、正常データを、ネットワーク経由で取得ないし更新できるようにしてもよい。

特徴ベクトル算出部１４が算出した評価データ（すなわち、評価対象である運転に対応する特徴ベクトル）と、正常データ記憶部１５に記憶された正常データ（すなわち、平常運転に対応する特徴ベクトル）は、比較部１６へ送信され、比較が行われる。

比較部１６は、正常データ記憶部１５に記憶された特徴ベクトル（正常データ）と、特徴ベクトル算出部１４が算出した特徴ベクトル（評価データ）との統計的分布の相違Ｄを算出する手段である。
本実施形態では、Ｔ個の時系列特徴量Ｆ（０），Ｆ（１），Ｆ（２），…，Ｆ（Ｔ）からなる標本が従う確率密度と、Ｔ’個の時系列特徴量Ｆ’（０），Ｆ’（１），Ｆ’（２），…，Ｆ’（Ｔ’）からなる標本が従う確率密度と、に基づいて、二つの特徴ベクトルの統計的分布の相違Ｄを推定する。

例えば、非特許文献５および６に記載されているような密度比推定法を用いて、Ｔ個の特徴ベクトルＦ（０），…，Ｆ（Ｔ）に対する確率密度と、Ｔ’個の特徴ベクトルＦ’（０），…，Ｆ’（Ｔ’）に対する確率密度の比（密度比）を推定し、得られた密度の比に基づいて相違Ｄを算出すればよい。確率密度比は、例えば、非特許文献５に記載の相対密度比推定法、非特許文献６に記載の最小二乗密度比適合法、確率的分類法、積率適合法などによって算出することができる。
あるいは、相違Ｄは、たとえば、Ｔ個の特徴ベクトルＦ（０），…，Ｆ（Ｔ）に対する確率密度と、Ｔ’個の特徴ベクトルＦ’（０），…，Ｆ’（Ｔ’）に対する確率密度の差（密度差）を推定し、得られた密度差に基づいて算出してもよい。確率密度差は、たとえば、非特許文献７に記載の確率密度差推定法によって算出することができる。

画像表示部１７は、比較部１６が算出した相違Ｄを、直感的かつ分かりやすい図形で描写し、車両運転者に提示する手段である。ここで、比較部１６が算出した相違Ｄが大きければ大きいほど危険運転の可能性が高く、小さければ小さいほど平常運転である可能性が高いことが推定できる。よって、図５に示したように、相違Ｄの大きさによって変化（アニメーション）する図形を描画してもよい。このようにすることで、車両運転者に対して危険な状態が発生していることを通知し、注意を促すことができる。なお、画像表示部１７は、図形以外にも、文字（テキスト）出力によって相違Ｄを車両運転者に提示してもよい。

なお、ここでは、相違Ｄを常に提示する例を挙げたが、相違Ｄの大きさが所定の閾値よりも大きい場合にのみ、表示を行うようにしてもよい。すなわち、危険運転の可能性が高い状況が発生している場合のみ、視覚情報による提示を行うようにしてもよい。ここで用いる閾値は、たとえば、交差確認法を用いて算出することができる。

刺激発生部１８は、比較部１６で得られた相違Ｄの大きさに基づいて、車両運転者に刺激（例えば、振動や音声による警告）を与える手段である。例えば、相違Ｄの大きさに応じて座席やステアリングホイールを振動（バイブレーション）させてもよい。また、シートベルトの締め付け強さを制御することで振動を発生させてもよい。
あるいは、相違Ｄの大きさに応じて警告音を発してもよい。または、相違Ｄの大きさに応じて「安全運転ですね。その調子。」「注意力が散漫のようです。気を付けて。」「お疲れではないですか？次のサービスエリアで休憩してみてはいかがですか？」といった音声で注意を促してもよい。
なお、刺激についても、相違Ｄの大きさが所定の閾値よりも大きい場合にのみ発生させるようにしてもよい。

次に、本実施形態に係る運転支援装置１が行う処理の流れについて説明する。
図６（Ａ）は、正常データの生成を説明するフローチャートである。
まず、ステップＳ１１において、乗員情報取得部１１、環境情報取得部１２、車両情報取得部１３が、平常運転（危険運転でない状態）における乗員情報、環境情報、車両情報をそれぞれ収集する。
次に、ステップＳ１２において、特徴ベクトル算出部１４が、収集された情報を用いて特徴ベクトルを算出する。
次に、ステップＳ１３において、特徴ベクトル算出部１４が、ステップＳ１２で算出した特徴ベクトルを正常データとして正常データ記憶部１５に格納する。

図６（Ｂ）は、運転の評価を行う処理を説明するフローチャートである。図６（Ｂ）に記載された処理は、たとえば車両の走行中において周期的に実行される。
まず、ステップＳ２１において、乗員情報取得部１１、環境情報取得部１２、車両情報取得部１３が、乗員情報、環境情報、車両情報をそれぞれ収集する。
次に、ステップＳ２２において、特徴ベクトル算出部１４が、収集された情報を用いて特徴ベクトルを算出する。
次に、ステップＳ２３において、比較部１６が、ステップＳ２２で算出された特徴ベクトル（評価データ）と、正常データ記憶部１５に格納されている平常運転時の特徴ベクトル（正常データ）との統計的分布の相違Ｄを算出する。
そして、ステップＳ２４において、画像表示部１７および刺激発生部１８が、ステップＳ２３で算出された相違Ｄの大きさに応じて、画像出力や刺激の付与を行うことで車両運転者に対して注意喚起を行う。

以上説明したように、本実施形態に係る運転支援装置は、乗員情報、環境情報、車両情報の３つの情報に基づいて特徴ベクトルを算出する。このような多角的な複数の情報に基づいて特徴ベクトルを算出することで、複雑な要因の絡んだ危険を検知することができる。
また、本実施形態に係る運転支援装置は、優良運転者から抽出した特徴ベクトルの統計的分布と、評価対象運転者から抽出した特徴ベクトルの統計的分布との相違に基づいて、危険度を算出する。このようなアプローチによれば、容易に定義できる顕在的な危険だけでなく、人が直接定義することが困難な潜在的な危険を検知することができる。
また、車両運転者に刺激を与えることで、危険な状態に陥ることを未然に防止することができる。

従来技術では、複数の要因が複雑に絡んだパターンを検知することが難しかった。これに対して、本実施形態に係る運転支援装置は、統計的分布の相違を、先進的な機械学習手法である密度比推定法、あるいは、密度差推定法を用いて算出する。これにより、複数の要因が複雑に絡んだ異常パターンを検知することができ、危険運転を精度良く検出することができる。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、評価時と正常運転時の時系列特徴量の統計的分布の相違に基づいて画像表示や刺激の発生を行っているが、危険運転を検知した場合に、通知を他の装置に対して出力するようにしてもよい。

また、実施形態の説明では、運転支援装置１が正常データを生成するものとしたが、正常データを、他の装置によって生成し、運転支援装置１の正常データ記憶部に格納するようにしてもよい。

また、実施形態の説明では、正常データを装置内に保持するものとしたが、正常データを装置の外部からその都度取得するようにしてもよい。また、運転支援装置１は、必ずしも車載されている必要はない。例えば、車載端末から情報を取得し、比較を行った結果を当該車載端末に送信するように構成されたサーバ装置として実施することもできる。

１・・・運転支援装置
１１・・・乗員情報取得部
１２・・・環境情報取得部
１３・・・車両情報取得部
１４・・・特徴ベクトル算出部
１５・・・正常データ記憶部
１６・・・比較部
１７・・・画像表示部
１８・・・刺激発生部

Claims

車両の危険な運転状態を検知する運転支援装置であって、
前記車両の運転者に関する情報である乗員情報を取得する乗員情報取得手段と、
前記車両の外部環境に関する情報である環境情報を取得する環境情報取得手段と、
前記車両に関する情報である車両情報を取得する車両情報取得手段と、
前記乗員情報と、前記環境情報と、前記車両情報と、に基づいて、評価対象の運転に対応する特徴ベクトルである第一の特徴ベクトルを取得する第一の特徴ベクトル取得手段と、
正常な運転に対応する前記特徴ベクトルである第二の特徴ベクトルを取得する第二の特徴ベクトル取得手段と、
前記第一の特徴ベクトルと、第二の特徴ベクトルとの統計的分布の相違に基づいて、前記評価対象の運転に対する危険度を算出する危険度算出手段と、
を有する、運転支援装置。
前記乗員情報、前記環境情報、前記車両情報は、それぞれ時系列データで表された複数の特徴量を要素に持つ多次元ベクトルである、
請求項１に記載の運転支援装置。
前記乗員情報は、乗員の視線位置、顔の向き、バイタル値、運転行動を分類した行動ラベル、のうち少なくとも一つを要素に持つ多次元ベクトルである、
請求項２に記載の運転支援装置。
前記環境情報は、車両外の天気、路面状況、障害物の位置に関する情報、のうち少なくとも一つを要素に持つ多次元ベクトルである、
請求項２または３に記載の運転支援装置。
前記車両情報は、車両の速度、加速度、舵角、ヨーレート、のうち少なくとも一つを要素に持つ多次元ベクトルである、
請求項２から４のいずれかに記載の運転支援装置。
前記危険度算出手段は、前記第一の特徴量と、第二の特徴量との確率密度の比に基づいて前記統計的分布の相違を算出する、
請求項１から５のいずれかに記載の運転支援装置。
前記危険度算出手段は、前記第一の特徴量と、第二の特徴量との確率密度の差に基づいて前記統計的分布の相違を算出する、
請求項１から５のいずれかに記載の運転支援装置。
前記統計的分布の相違の大きさを可視化し、前記運転者に提示する表示手段をさらに備える、
請求項１から７のいずれか１項に記載の運転支援装置。
前記統計的分布の相違の大きさに基づいて、前記運転者に刺激を与える刺激発生手段をさらに備える、
請求項１から８のいずれか１項に記載の運転支援装置。
前記刺激発生手段は、前記統計的分布の相違の大きさに基づいて運転席の少なくとも一部を振動させる、
請求項９に記載の運転支援装置。
前記刺激発生手段は、前記統計的分布の相違の大きさに基づいて警告音を発する、
請求項９または１０に記載の運転支援装置。
車両の危険な運転状態を検知する運転支援装置が行う運転支援方法であって、
前記車両の運転者に関する情報である乗員情報を取得する乗員情報取得ステップと、
前記車両の外部環境に関する情報である環境情報を取得する環境情報取得ステップと、
前記車両に関する情報である車両情報を取得する車両情報取得ステップと、
前記乗員情報と、前記環境情報と、前記車両情報と、に基づいて、評価対象の運転に対応する特徴ベクトルである第一の特徴ベクトルを取得する第一の特徴ベクトル取得ステップと、
正常な運転に対応する前記特徴ベクトルである第二の特徴ベクトルを取得する第二の特徴ベクトル取得ステップと、
前記第一の特徴ベクトルと、第二の特徴ベクトルとの統計的分布の相違に基づいて、前記評価対象の運転に対する危険度を算出する危険度算出ステップと、
を含む、運転支援方法。
請求項１２に記載の運転支援方法をコンピュータに実行させるプログラム。