JP2017045351A - 車両運転支援装置、車両運転支援方法、およびプログラム - Google Patents

Abstract

【課題】車両運転者の漫然運転を簡易かつ精度良く検知し漫然運転を防止する。【解決手段】平常運転時に抽出した車両運転者の注視情報の統計的分布と、評価時に抽出した車両運転者の注視情報の統計的分布との相違Dを算出する。さらに、相違Dの大きさを車両運転者に直感的にわかりやすい図形で提示するとともに、相違Dの大きさに基づいて車両運転者に外的な刺激を加えることが好ましい。相違Dは時系列特徴量の確率密度の比や差に基づいて算出することが好ましい。【選択図】図１

Description

本発明は車両運転支援装置に係り、特に、車両運転者が漫然運転を行う可能性を推定するうえで好適な車両運転支援装置に関する。

車両運転者の漫然運転を検知する方法として、たとえば、特許文献1のような方法が提
案されている。特許文献1では、あらかじめ、漫然運転時における車両運転者の注視情報
の統計的分布を定義し、評価時に得られた車両運転者の注視情報の統計的分布との類似性を評価することで、漫然運転の可能性を推定する。

また、車両運転者の漫然運転を検知する方法として、たとえば、特許文献2のような方
法が提案されている。特許文献2では、車両運転者の視線方向を所定時間検出して、視線
方向の分布を示す視線分布情報を生成する。そして、得られた視線分布情報によって示される分布の所定位置（例えば中心位置）が、あらかじめ定義した基準情報により示される漫然運転でない状態の視線方向の標準的な位置よりも上方向に所定閾値以上離れている場合、漫然運転であると判定する。

また、車両運転者の漫然運転を防止するための方法として、たとえば、特許文献3のよ
うな方法が提案されている。特許文献3では、あらかじめ用意した注意モデルとその時々
で検出される特定情報とに基づいて、オブジェクト、画像情報、各特定情報に基づく注意分布である個別分布を生成する。また、これら個別分布を、同じ重みまたは個々に重み付けして統合した注意分布である統合分布を生成することにより、車両運転者の注意が向けられている位置（注視点）を確率的に推定する。さらに、前方画像から抽出した各オブジェクトに対する車両運転者の注意量を前記統合分布に従って算出する。最終的に、前記注意量に基づいて、車両運転者が認識すべき物体に関する情報を表示や音声、振動等によって提供する。

特開平8-178712号公報 特開2008-243031号公報 特開2012−103850号公報 特開平3-165737号公報 特開2010-211460号公報 特開2007-233487号公報 特開2007-89094号公報 特開2010-97410号公報 特開2013-37615号公報 特開2012-141922号公報 特開2012-84003号公報 特開2007-241469号公報 特開2006-4173号公報 特許第3965067号明細書 特許第5042496号明細書 特許第5127182号明細書 特開2006-301464号公報 特開2009-107582号公報

Kanamori, T., Hido, S., & Sugiyama, M., A least-squares approach to direct importance estimation, Journal of Machine Learning Research, vol.10 (Jul.), pp.1391-1445, 2009. Yamada, M., Suzuki, T., Kanamori, T., Hachiya, H., & Sugiyama, M., Relative density-ratio estimation for robust distribution comparison, Neural Computation, vol.25, no.5, pp.1324-1370, 2013. Sugiyama, M., Kanamori, T., Suzuki, T., du Plessis, M. C., Liu, S., & Takeuchi, I., Density difference estimation, IEICE Technical Report IBISML2012-8, pp.49-56, Kyoto, Japan, Jun. 19-20, 2012.

しかしながら、上記の特許文献1-3に開示される技術は次のような問題を有する。

特許文献1は、あらかじめ、漫然運転時における車両運転者の注視情報の統計的分布を
定義し、評価時に得られた車両運転者の注視情報の統計的分布との類似性を評価することで、漫然運転である可能性を推定している。したがって、特許文献1のような手法には、
漫然運転時における車両運転者の注視情報の統計的分布としてあらかじめ定義していないものに対しては推定精度が低下する問題というがある。

また、特許文献2は、車両運転者の視線分布情報によって示される分布の所定位置と、
あらかじめ記憶された基準情報により示される漫然運転でない状態の視線方向の標準的な位置との相違に基づいて、漫然運転である可能性を推定している。特許文献2のような手
法には、漫然運転時と漫然運転時でない状態との視線分布情報の相違が標準的な位置ではなく、統計的分布の相違（たとえば、尖度、歪度、分散など）に表れる場合に推定精度が低下する問題というがある。

また、特許文献3は、あらかじめ用意した注意モデルとその時々で検出される特定情報
とに基づいて、オブジェクト、画像情報、各特定情報に基づく注意分布である個別分布し、同じ重み又は個々に重み付けして統合した注意分布を生成している。特許文献3のよう
な手法には、個別分布に対する最適な重みを設定できない場合に推定精度が低下する問題というがある。

上記の問題点を考慮して、本発明は、漫然運転を精度良く推定可能な技術を提供することを目的とする。

本発明の第1の態様は、車両運転者の漫然運転を検知する車両運転支援装置であって、
車両の前方方向の画像を取得する画像取得手段と、車両運転者の注視情報を抽出する注視情報抽出手段と、前記車両運転者の評価時における注視情報に基づいて時系列特徴量を算出する時系列特徴量算出手段と、正常運転時における注視情報に基づく時系列特徴量を格納する正常データ格納手段と、前記正常運転時と前記評価時における前記時系列特徴量の相違を算出する相違算出手段と、前記相違の大きさに基づいて、前記車両運転者の漫然運転を検知する漫然運転検知手段と、を備える。

本発明の第2の態様は、車両運転者の漫然運転を検知する車両運転支援方法であって、
車両の前方方向の画像を取得する画像取得ステップと、車両運転者の注視情報を抽出する注視情報抽出ステップと、前記車両運転者の評価時における注視情報に基づいて時系列特
徴量を算出する時系列特徴量算出ステップと、前記評価データ算出ステップにおいて算出された時系列特徴量と、あらかじめ算出された正常運転時における注視情報に基づく時系列特徴量と、の相違を算出する相違算出ステップと、前記相違の大きさに基づいて、前記車両運転者の漫然運転を検知する漫然運転検知ステップと、を含む。

本発明によれば、漫然運転の推定精度を向上することができる。

図1（A）は第1実施形態に係る車両運転支援装置の機能構成図であり、図1（B）は第1実施形態における学習処理の流れを示すフローチャートであり、図1(C)は第1実施形態における漫然運転検出処理の流れを示すフローチャートである。 図2は、第1実施形態に係る車両運転支援装置の注視情報抽出部11の機能について説明するための図である。 図3は、第1実施形態に係る車両運転支援装置の時系列特徴量算出部12の機能について説明するための図である。 図4(A)-4(B)は、第1実施形態に係る車両運転支援装置の相違提示部16の機能について説明するための図である。 図5(A)は第2実施形態に係る車両運転支援装置の機能構成図であり、図5(B)は第2実施形態にかかる車両運転支援装置の注視情報抽出部21の機能について説明するための図である。 図6は第2実施形態に係る車両運転支援装置の歩行者検出部213の機能について説明するための図である。 図7は、第2実施形態に係る車両運転支援装置の車両検出部214の機能について説明するための図である。 図8は第2実施形態に係る車両運転支援装置の標識検出部215の機能について説明するための図である。 図9は第2実施形態に係る車両運転支援装置の信号機検出部216の機能について説明するための図である。 図10(A)および図10(B)は、第2実施形態に係る車両運転支援装置の距離情報算出部217の機能について説明するための図である。 図11は、第3実施形態に係る車両運転支援装置の機能構成図である。

＜第1の実施形態＞
本発明の第1の実施形態について、図1〜図4を参照して説明する。

（構成）
図1(A)は、本発明の第1の実施形態に係る車両運転支援装置1の概略構成を示すブロック図である。本実施形態に係る車両運転支援装置は、半導体集積回路(LSI)を用いて実現で
きる。車両運転支援装置1は、図1(A)に示すように、注視情報抽出部11、時系列特徴量算
出部12、正常データ格納部13、評価データ格納部14、相違算出部15、相違提示部16、刺激発生部17を有する。これらの構成要素は車両運転支援装置1が果たす機能にそれぞれ対応
している。

注視情報抽出部11は、車両運転者の視線位置を抽出する。注視情報抽出部11は、車両の前方方向を撮影した画像（以下、前方画像と呼ぶ）と、車両運転者の眼を撮影した画像（以下、眼画像と呼ぶ）を、車両に設けられたカメラなどの車両運転支援装置1の外部の装
置から取得する。注視情報抽出部11は、前方画像と眼画像を解析して、図2のように、時
刻tにおける前方画像中の車両運転者の視線位置(x_e(t), y_e(t))を抽出する。また、注視
情報抽出部11は、得られた時刻tにおける注視情報f(t)=(x_e(t),y_e(t))を時系列特徴量算
出部12に出力する。

ここで、車両運転者の視線方向は、たとえば、特許文献4の視線方向検出方法のように
、可視光感知カメラと赤外光感知カメラによって撮影された2つの眼画像の差分画像を適
当な閾値と比較することにより虹彩部分を抽出して視線方向を検出することができる。そして、眼画像を撮影するカメラと前方画像を撮影するカメラの位置関係等に基づいて、車両運転者の時刻tにおける視線位置(x_e(t),y_e(t))を検出することができる。

時系列特徴量算出部12は、注視情報抽出部11で得られた注視情報f(t)を用いて時系列特徴量F(t)を算出し、正常データ格納部13および評価データ格納部14に出力する。具体的には、図3のように、時間的に連続したK個の注視情報f(t)を連結して時系列特徴量F(t)を算出する。

たとえば、K=3の場合、時刻t=0における時系列特徴量F(0)は、
F(0)=(f(0), f(1), f(2))=(x_e(0), y_e(0), x_e(1), y_e(1), x_e(2), y_e(2))
の6（2×K）次元のベクトルで与えられる。また、時刻t=1における時系列特徴量F(1)は、
F(1)=(f(1), f(2), f(3))=(x_e(1), y_e(1), x_e(2), y_e(2), x_e(3), y_e(3))
の6（2×K）次元のベクトルで与えられる。さらに、時刻t=2における時系列特徴量F(2)は、
F(2)=(f(2), f(3), f(4))=(x_e(2), y_e(2), x_e(3), y_e(3), x_e(4), y_e(4))
の6（2×K）次元のベクトルで与えられる。以下同様の手順で、時系列特徴量F(3), F(4),…を算出することができる。ここで、時刻t=0, 1, 2, …は、この順番で連続した時刻（
タイムステップ）である。

ここで、注視情報の連結数Kは、試行錯誤的に決定すればよい。あるいは、システム全
体に要求される漫然運転の識別性能に応じて決定してもよい。あるいは、システム全体に要求される処理時間に応じて決定してもよい。

ここでは、時刻tにおける時系列特徴量F(t)を、時刻tを始点とした連続したK個の注視
情報の組み合わせとする場合を説明したが、その他の方法による定義も可能である。たとえば、F(t)=(f(t-2), f(t-1), f(t))のように、時刻tを終点とした連続したK個（ここで
はK=3としている）の注視情報の組み合わせとして定義することができる。あるいは、F(t)=(f(t-1), f(t), f(t+1))のように、時刻tを中心とした連続したK個の注視情報の組み合わせとして定義してもよい。

正常データ格納部13は、あらかじめ漫然運転でない状態（以後、平常運転とよぶ）で所定時間抽出した時系列特徴量を格納し、相違算出部15に出力する。具体的には、時系列特徴量算出部12を用いて得られた時刻t=0〜Tまでの時系列特徴量F(0), F(1),…,F(T)を格納する。ここで、時間Tは、正常データ格納部12のメモリ容量の大きさに応じて決定すれば
よい。あるいは、システム全体に要求される処理速度に応じて決定してもよい。

評価データ格納部14は、評価時に所定時間抽出した時系列特徴量を格納し、相違算出部15に出力する。具体的には、時系列特徴量算出部12を用いて得られた時刻t'=0〜T'までの時系列特徴量F'(0), F'(1),…,F'(T')を格納する。ここで時間T'は、評価データ格納部14のメモリ容量の大きさに応じて決定してもよい。あるいは、システム全体に要求される処理時間に応じて決定してもよい。あるいは、正常データ格納部12における時間Tで与えて
もよい。

相違算出部15は、正常データ格納部13に格納したT個の時系列特徴量F(0), F(1), F(2),
…,F(T)と、評価データ格納部14に格納したT'個の時系列特徴量F'(0), F'(1), F'(2),…,F'(T')との統計的分布の相違Dを算出し、相違提示部16および刺激発生部17に出力する。
ここで、2つの時系列特徴量の統計的分布の相違Dは、T個の時系列特徴量F(0), F(1), F(2),…,F(T)からなる標本が従う確率密度と、T'個の時系列特徴量F'(0), F'(1), F'(2),…,F'(T')からなる標本が従う確率密度とに基づいて推定する。

たとえば、非特許文献1の密度比推定法を用いて、T個の時系列特徴量F(0), F(1), F(2),…,F(T)に対する確率密度と、T'個の時系列特徴量F'(0), F'(1), F'(2),…,F'(T')に対
する確率密度の比（密度比）を推定し、得られた密度の比に基づいて相違Dを算出すれば
よい。確率密度比は、たとえば、非特許文献1に記載の相対密度比推定法、非特許文献2に記載の最小二乗密度比適合法、確率的分類法、積率適合法などによって算出することができる。あるいは、2つの時系列特徴量の統計的分布の相違Dは、たとえば、T個の時系列特
徴量F(0), F(1), F(2),…,F(T)に対する確率密度と、T'個の時系列特徴量F'(0), F'(1), F'(2),…,F'(T')に対する確率密度の差（密度差）を推定し、得られた密度差に基づいて
算出してもよい。確率密度差は、たとえば、非特許文献3に記載の確率密度差推定法によ
って算出することができる。

相違提示部16は、相違算出部15で得られた相違Dを、視覚情報の形式で車両運転者に提
示する。相違提示部16は、たとえば、相違Dを直感的に分かりやすい図形で可視化し、車
両運転者に提示する。具体的には、図4(A)のように、相違Dが大きければ大きいほど漫然
運転の可能性が高いこと（不良）、相違Dが小さければ小さいほど平常運転の可能性が高
いこと（良好）が直感的にわかるように提示すればよい。あるいは、図4(B)のような図形を用いてもよい。あるいは、図4(C)のような図形を用いてもよい。あるいは、図4(D)のような図形を用いてもよい。このように、図4(A)-4(D)のような図形を車両運転者に提示す
ることで、車両運転者に注意を促すことができる。相違提示部16は、図形以外にも、文字（テキスト）出力によって相違Dを車両運転者に提示してもよい。

なお、ここでは情報提示部16が相違Dを常に提示するように説明しているが、相違Dの大きさが所定の閾値Thよりも大きい場合のみ相違Dを提示してもよい。すなわち、漫然運転
の可能性が高い場合のみ、視覚情報による提示を行うようにしてもよい。閾値Thは、たとえば、交差確認法を用いて算出することができる。

刺激発生部17は、相違算出部15で得られた相違Dに基づいて、車両運転者に刺激を与え
る。具体的には、相違Dの大きさに応じて運転席を振動（バイブレーション）させればよ
い。あるいは、相違Dの大きさに応じて車両運転者が握るハンドルを振動（バイブレーシ
ョン）させてもよい。あるいは、相違Dの大きさに応じてシートベルトの締め付け強さを
制御して振動させてもよい。あるいは、相違Dの大きさに応じて警告音を発してもよい。
あるいは、相違Dの大きさに応じて「安全運転ですね。その調子。」「注意力が散漫のよ
うです。気を付けて。」「お疲れではないですか？次のサービスエリアで休憩してみてはいかがですか？」といった音声で注意を促してもよい。また、これらの複数の手法を組み合わせて利用してもよい。

なお、相違算出部15で得られた相違Dの大きさが所定の閾値Th'よりも小さい場合には、平常運転（漫然運転ではない）と判断して、刺激発生部17による出力は行わなくてもよい。閾値Th'は上述した閾値Thと同じ値であってもよいし異なる値であってもよい。

（方法）
本実施形態の車両運転支援装置1が行う処理の流れについて説明する。

まず、図1（B）を参照して、正常データの学習処理を説明する。ステップS11において
、平常運転（漫然運転でない状態）において撮影された前方画像と眼画像を注視情報抽出部11に入力し、上述した手法により、注視情報抽出部11がこれらの画像から注視情報を抽出する。そして、ステップS12において、時系列特徴量算出部12が、抽出された注視情報
を用いて時系列特徴量を算出する。複数の平常運転に関する画像が用意されている場合には、これら複数の画像からそれぞれ注視情報の抽出および時系列特徴量の算出が行われる。ステップS13において、時系列特徴量算出部12は、ステップS12で算出した時系列特徴量を正常データとして正常データ格納部13に格納する。

次に、図1（C）を参照して、漫然運転検出時における処理を説明する。図1(c)に記載の処理は、たとえば運転中に定期的に繰り返し実行される。ステップS21において、運転中
に撮影された前方画像と眼画像を注視情報抽出部11に入力し、上述した手法により、注視情報抽出部11がこれらの画像から注視情報を抽出する。そして、ステップS22において、
時系列特徴量算出部12が、抽出された注視情報を用いて時系列特徴量を算出する。ステップS23において、相違算出部15は、ステップS22で算出された時系列特徴量と、正解データ格納部13に格納されている平常運転時の時系列特徴量の統計的分布の相違Dを算出する。
ステップS24において、相違提示部16および刺激発生部17が、ステップS23で算出された相違Dの大きさに応じて画像出力や刺激付与を行うことで車両運転者に対して注意喚起する
。

（本実施形態の有利な効果）
本実施形態にかかる車両運転支援装置1によれば、車両運転者の漫然運転を精度良く検
出することができる。また、漫然運転の傾向を検知し、その傾向に基づいて車両運転者に刺激を与えることで、漫然運転を未然に防止することができる。

従来技術のように、漫然運転時に抽出した車両運転者の視線情報の統計的分布に基づいて平常運転か漫然運転かを判別する手法では、未知の異常パターンに対応できなかったり、複雑に要因の絡んだパターンを定義することが難しかったりするという問題がある。本実施形態では、平常運転時に抽出した車両運転者の視線情報の統計的分布を正解データとして記憶しておき、運転時の視線情報の統計的分布との総意に基づいて漫然運転を判定している。したがって、未知の異常パターンにも対応することができる。また、複雑な要因の絡んだ異常パターンを定義する必要もない。このように、本実施形態によれば、漫然運転を精度良く検出することが可能である。

＜第2の実施形態＞
本発明の第2の実施形態について、図5〜図10を参照して説明する。

図5(A)は、本発明の第2の実施形態に係る車両運転支援装置2の概略構成を示すブロック図である。本実施形態に係る車両運転支援装置は、半導体集積回路(LSI)を用いて実現で
きる。車両運転支援装置2は、図5(A)に示すように、注視情報抽出部21、時系列特徴量算
出部22、正常データ格納部23、評価データ格納部24、相違算出部25、相違提示部26、刺激発生部27を有する。これらの構成要素は車両運転支援装置2が果たす機能にそれぞれ対応
している。なお、本実施形態においては、第1の実施形態との相違箇所のみ言及する。

第1の実施形態では、注視情報抽出部11において、時刻tにおける前方画像中の車両運転者の視線位置(x_e(t),y_e(t))を算出し、得られた時刻tにおける注視情報f(t)=(x_e(t),y_e(t))を時系列特徴量算出部12に出力したのに対して、本実施形態では、車両運転者の時刻t
における視線情報(x_e(t),y_e(t))だけでなく、その他の様々な情報（たとえば、車両運転
者の視線情報(x_e(t),y_e(t))における対象物の属性情報、距離情報、あるいは車両運転者
の生体情報など）を用いて、より注視情報の情報量を高める点に特徴がある。

注視情報抽出部21は、図5(B)のように、画像取得部211、視線位置検出部212、歩行者検出部213、車両検出部214、標識検出部215、信号機検出部216、距離情報算出部217、生体
情報取得部218、注視情報算出部219とから構成される。

画像取得部211は、車両運転支援装置2の外部から入力される車両の前方方向の画像（以下、前方画像とよぶ）を取得し、視線位置検出部212、歩行者検出部213、車両検出部214
、標識検出部215、信号機検出部216、距離情報算出部217、生体情報取得部218に出力する。画像取得部211は、また、車両運転支援装置1の外部から入力される車両運転者の眼の画像（以下、眼画像とよぶ）を取得し、視線位置検出部212に出力する。

視線位置検出部212は、前方画像と眼画像を解析して、図2のように、時刻tにおける前
方画像中の車両運転者の視線位置(x_e(t), y_e(t))を抽出する。視線位置の抽出方法は、第1の実施形態において説明した方法と同様の方法により行えばよい。

歩行者検出部213は、図6のように、時刻tにおける前方画像中の歩行者pの位置(x_p(t), y_p(t))と歩行者pを包含する矩形領域の水平および垂直方向の大きさ(h_p(t), v_p(t))を算
出し、注視情報算出部219に出力する。ここで、前方画像中の歩行者pの位置(x_p(t), y_p(t))と歩行者pを包含する矩形領域の水平および垂直方向の大きさ(h_p(t), v_p(t))は、既存
の任意の手法によって算出すればよい。たとえば、特許文献5,6,7に記載の手法を用いる
ことができる。

このとき、車両運転者の時刻tにおける視線位置(x_e(t), y_e(t))が、前方画像中の位置(x_p(t), y_p(t))における大きさ(h_p(t), v_p(t))の矩形領域の内側にある場合、車両運転者
は時刻tにおいて歩行者pを目視したことがわかる。一方、車両運転者の時刻tにおける視
線位置(x_e(t), y_e(t))が、前方画像中の位置(x_p(t),y_p(t))における大きさ(h_p(t),v_p(t))の矩形領域の外側にある場合、車両運転者は時刻tにおいて歩行者pを目視しなかったことがわかる。また、時刻tにおいて前方画像中に歩行者pが検出されなかった場合は、前方画像の水平および垂直方向サイズを(W,H)として、(x_p(t), y_p(t))=(W/2,H/2)，(h_p(t), v_p(t))=(W/2,H/2)を出力すればよい。

車両検出部214は、図7のように、時刻tにおける前方画像中の車両cの位置(x_c(t), y_c(t))と車両cを包含する矩形領域の水平および垂直方向の大きさ(h_c(t), v_c(t))を算出し、
注視情報算出部219に出力する。ここで、前方画像中の車両cの位置(x_c(t), y_c(t))と車両cを包含する矩形領域の水平および垂直方向の大きさ(h_c(t), v_c(t))は、既存の任意の手
法によって算出すればよい。たとえば、特許文献8,9に記載の手法を用いることができる
。

このとき、車両運転者の時刻tにおける視線位置(x_e(t), y_e(t))が、前方画像中の位置(x_c(t), y_c(t))における大きさ(h_c(t), v_c(t))の矩形領域の内側にある場合、車両運転者
は時刻tにおいて車両cを目視したことがわかる。一方、車両運転者の時刻tにおける視線
位置(x_e(t), y_e(t))が、前方画像中の位置(x_c(t),y_c(t))における大きさ(h_c(t),v_c(t))の矩形領域の外側にある場合、車両運転者は時刻tにおいて車両cを目視しなかったことがわかる。また、時刻tにおいて前方画像中に車両cが検出されなかった場合は、前方画像の水平および垂直方向サイズを(W,H)として、(x_c(t), y_c(t))=(W/2,H/2)，(h_c(t), v_c(t))=(W/2,H/2)を出力すればよい。

標識検出部215は、図8のように、時刻tにおける前方画像中の標識sの位置(x_s(t), y_s(t))と標識sを包含する矩形領域の水平および垂直方向の大きさ(h_s(t), v_s(t))を算出し、
注視情報算出部219に出力する。ここで、前方画像中の標識sの位置(x_s(t), y_s(t))と標識sを包含する矩形領域の水平および垂直方向の大きさ(h_c(t), v_c(t))は、既存の任意の手
法によって算出すればよい。たとえば、特許文献10,11に記載の手法を用いることができ
る。

このとき、車両運転者の時刻tにおける視線位置(x_e(t), y_e(t))が、前方画像中の位置(x_s(t), y_s(t))における大きさ(h_s(t), v_s(t))の矩形領域の内側にある場合、車両運転者
は時刻tにおいて標識sを目視したことがわかる。一方、車両運転者の時刻tにおける視線
位置(x_e(t), y_e(t))が、前方画像中の位置(x_s(t),y_s(t))における大きさ(h_s(t),v_s(t))の矩形領域の外側にある場合、車両運転者は時刻tにおいて標識sを目視しなかったことがわかる。また、時刻tにおいて前方画像中に標識sが検出されなかった場合は、前方画像の水平および垂直方向サイズを(W,H)として、(x_s(t), y_s(t))=(W/2,H/2)，(h_s(t), v_s(t))=(W/2,H/2)を出力すればよい。

信号機検出部216は、図9のように、時刻tにおける前方画像中の信号機gの位置(x_g(t), y_g(t))と信号機gを包含する矩形領域の水平および垂直方向の大きさ(h_g(t), v_g(t))を算
出し、注視情報算出部219に出力する。ここで、前方画像中の信号機gの位置(x_g(t), y_g(t))と信号機gを包含する矩形領域の水平および垂直方向の大きさ(h_g(t), v_g(t))は、既存
の任意の手法によって算出すればよい。たとえば、特許文献12,13に記載の手法を用いる
ことができる。

このとき、車両運転者の時刻tにおける視線位置(x_e(t), y_e(t))が、前方画像中の位置(x_g(t), y_g(t))における大きさ(h_g(t), v_g(t))の矩形領域の内側にある場合、車両運転者
は時刻tにおいて信号機gを目視したことがわかる。一方、車両運転者の時刻tにおける視
線位置(x_e(t), y_e(t))が、前方画像中の位置(x_g(t),y_g(t))における大きさ(h_g(t),v_g(t))の矩形領域の外側にある場合、車両運転者は時刻tにおいて信号機gを目視しなかったことがわかる。また、時刻tにおいて前方画像中に信号機gが検出されなかった場合は、前方画像の水平および垂直方向サイズを(W,H)として、(x_g(t), y_g(t))=(W/2,H/2)，(h_g(t), v_g(t))=(W/2,H/2)を出力すればよい。

距離情報算出部217は、図10(A),10(B)のように、車両運転者の時刻tにおける視線位置(x_e(t), y_e(t))の距離情報z(t)を算出し、注視情報算出部219に出力する。図10(a)は車両
運転者の時刻tにおける視線位置(x_e(t), y_e(t))を表す。同様に、図10(b)は車両運転者の時刻tにおける視線位置(x_e(t), y_e(t))の距離情報z(x_e(t), y_e(t))を表す。ここで、車両運転者の時刻tにおける視線位置(x_e(t), y_e(t))の距離情報z(x_e(t), y_e(t))は、既存の任意の手法によって算出すればよい。たとえば、特許文献13,14,15に記載のステレオ測距の手法を用いてもよいし、TOF（Time Of Flight）手法を用いてもよい。

生体情報取得部218は、時刻tにおける車両運転者の生体情報v(t)を抽出し、注視情報算出部219に出力する。ここで、車両運転者の時刻tにおける生体情報v(t)は、どのような生体情報であってもよい。たとえば、車両運転者の心拍、脈拍、心電、呼吸、体温、体重、体脂肪、血圧、発汗、視線、筋電、皮膚インピーダンスなどの1つまたは複数を生体情報
として抽出すればよい。これらの生体情報の抽出方法には既存の任意の手法を採用できる。たとえば、心拍であれば特許文献17,18に記載の手法を用いることができる。脈拍、心
電、呼吸、体温、体重、体脂肪、血圧、発汗、視線、筋電、皮膚インピーダンスについては特許文献18に記載の手法を用いることができる。

注視情報算出部219は、視線位置検出部212で得られた時刻tにおける前方画像中の車両
運転者の視線位置(x_e(t), y_e(t))と、歩行者検出部213で得られた時刻tにおける前方画像中の歩行者pの位置(x_p(t), y_p(t))と歩行者pを包含する矩形領域の水平および垂直方向の大きさ(h_p(t), v_p(t))と、車両検出部214で得られた時刻tにおける前方画像中の車両cの
位置(x_c(t), y_c(t))と車両cを包含する矩形領域の水平および垂直方向の大きさ(h_c(t), v
_c(t))と、標識検出部215で得られた時刻tにおける前方画像中の標識sの位置(x_s(t), y_s(t))と標識sを包含する矩形領域の水平および垂直方向の大きさ(h_s(t), v_s(t))と、信号機
検出部216で得られた時刻tにおける前方画像中の信号機gの位置(x_g(t), y_g(t))と信号機gを包含する矩形領域の水平および垂直方向の大きさ(h_g(t), v_g(t))と、距離情報算出部217で得られた車両運転者の時刻tにおける視線位置(x_e(t), y_e(t))の距離情報z(t)と、生体情報取得部218で得られた時刻tにおける車両運転者の生体情報v(t)を用いて注視情報f(t)=(X(t), Y(t), z(t), v(t))を算出し、時系列特徴量算出部22に出力する。具体的には、(X(t), Y(t))は次式で定義する。

ここで、上式の分母の各定数は次式で与えられる。

注視情報f(t)に含まれるX(t)およびY(t)は、注視すべき物体（歩行者、車両、標識、信号機）の位置と車両運転者の視線位置の相違を物体の大きさに応じて正規化して表した情報であり、車両運転者が注視すべき物体をどの程度注視しているかを表した情報といえる。したがって、車両運転者が注視すべき物体をどの程度注視しているかを表すことができれば、上記以外の定義を採用してもよい。たとえば、X方向とY方向に分けて物体位置と視線位置の差を求めているが、物体位置と視線位置の間の距離（相違）を1つの値で評価し
てもよい。

本実施形態によれば、車両運転者の視線位置における対象物の属性情報や距離情報、あるいは車両運転者の生体情報など様々な情報を注視情報としているので、特徴量の情報量を高めることができる。

＜第3の実施形態＞
本発明の第3の実施形態について、図11を参照して説明する。

図11は、本発明の第3の実施形態に係る車両運転支援装置3の概略構成を示すブロック図である。本実施形態に係る車両運転支援装置は、半導体集積回路(LSI)を用いて実現でき
る。車両運転支援装置3は、図11に示すように、注視情報抽出部31、時系列特徴量算出部32、正常データ格納部33、評価データ格納部34、正常データ選択部35、相違算出部36、相
違提示部37、刺激発生部38を有する。これらの構成要素は車両運転支援装置3が果たす機
能にそれぞれ対応している。なお、本実施形態においては、第1の実施形態との相違箇所
のみ言及する。

第1の実施形態では、正常データ格納部13に格納されたすべての時系列特徴量と評価デ
ータ格納部14に格納された時系列特徴量との統計的分布の相違Dを算出したのに対して、
本実施形態では、正常データ選択部35を用いて、正常データ格納部33に格納された時系列特徴量の部分集合Sを作成し、得られた部分集合Sと評価データ格納部34に格納された時系列特徴量との統計的分布の相違Dを算出する点に特徴がある。

正常データ選択部35は、車両運転支援装置1の外部から入力される車両の走行状態や車
両運転者の属性情報に基づいて、正常データ格納部33に格納された時系列特徴量の部分集合Sを作成し、得られた部分集合Sを相違算出部36に出力する。具体的には、部分集合Sは
、車両運転者の属性情報（たとえば、個人名、年齢層、性別など）に基づいて、評価対象の車両運転者と類似する属性情報を有する正常データの集合として作成すればよい。あるいは、部分集合Sは、車両の走行状態（たとえば、市街地を走行時か、高速道路を走行時
か、郊外を走行時か、走行時は日中か、走行時は夜間か、走行時は快晴か、走行時は雨天かなど）に基づいて、評価対象の走行状態と類似する走行状態を有する正常データの集合として作成してもよい。あるいは、部分集合Sは、車両運転者の属性情報と車両の走行状
態の両方に基づいて決定してもよい。

なお、本実施形態においては、正常データ格納部33に格納されたデータから車両運転者の属性情報や車両の走行状態に基づいた部分集合を選択できるように、正常データ格納部33に格納されるデータは、車両運転者の属性情報や車両の走行状態と関連付けて記憶される。また、正常データ選択部35には、評価時における車両運転者の属性情報や車両の走行状態を取得して、正常データの選択に利用する。車両運転者の属性情報を車両運転者と関連付けてあらかじめ記憶しておき、正常データ選択部35は、車両運転者から取得される識別情報（たとえば、指紋・虹彩・声紋などの生体情報、識別コードを記憶したICチップやICタグ）や車両運転者からの登録者の選択入力に基づいて対応する属性情報を取得すればよい。また、車両の走行状態は、車両が有する種々のセンサから得られる情報に基づいて取得することができる。

本実施形態によれば、車両運転者の属性情報や車両の走行状態が類似する正常データとの間での比較が可能となるため、より精度の良い漫然運転検知が可能となる。

＜その他の実施形態＞
上記の実施形態では、評価時と正常運転時の時系列特徴量の統計的分布の相違に基づいて画像表示や刺激発生を行っているが、当該相違が閾値以上の場合に漫然運転が発生していると検知してその場合のみ画像表示や刺激発生を行っても良い。また、漫然運転の発生が検知された場合の処理は上記に限られず、漫然運転の発生を知らせる通知を他の装置に対して出力するようにしても良い。

また、上記の実施形態では、車両運転支援装置が正常運転時の注視情報およびこれに基づく時系列特徴量を算出するものとして説明したが、これらの情報は他の装置によって算出されて車両運転支援装置の正常データ格納部に格納されても構わない。

前記実施形態は半導体集積回路(LSI)に限定されず、コンピュータで実行可能なプログ
ラムその他を用いて実施してもよい。

1…車両運転支援装置
11…注視情報抽出部
12…時系列特徴量算出部
13…正常データ格納部
14…評価データ格納部
15…相違算出部
16…相違表示部
17…刺激発生部

Claims (16)

1. 車両運転者の漫然運転を検知する車両運転支援装置であって、
   車両の前方方向の画像を取得する画像取得手段と、
   車両運転者の注視情報を抽出する注視情報抽出手段と、
   前記車両運転者の評価時における注視情報に基づいて時系列特徴量を算出する時系列特徴量算出手段と、
   正常運転時における注視情報に基づく時系列特徴量を格納する正常データ格納手段と、
   前記正常運転時と前記評価時における前記時系列特徴量の相違を算出する相違算出手段と、
   前記相違の大きさに基づいて、前記車両運転者の漫然運転を検知する漫然運転検知手段と、
   を備える、車両運転支援装置。
2. 前記注視情報は、前記前方方向の画像中の車両運転者の視線位置である、
   請求項１に記載の車両運転支援装置。
3. 前記注視情報は、前記前方方向の画像中の車両運転者の視線位置における距離情報である、
   請求項１または２に記載の車両運転支援装置。
4. 前記注視情報は、前記車両運転者の生体情報である、
   請求項１から３のいずれか１項に記載の車両運転支援装置。
5. 前記注視情報は、前記前方画像中の所定物体の位置および大きさと前記車両運転者の視線位置に基づいて算出される、
   請求項１から４のいずれか１項に記載の車両運転支援装置。
6. 前記時系列特徴量は、時間的に連続した前記注視情報を所定個数連結して与えられる、
   請求項１から５のいずれか１項に記載の車両運転支援装置。
7. 前記相違は、前記正常運転時の時系列特徴量と前記評価時の時系列特徴量との確率密度の比に基づいて算出される、
   請求項１から６のいずれか１項に記載の車両運転支援装置。
8. 前記相違は、前記正常運転時の時系列特徴量と前記評価時の時系列特徴量との確率密度の差に基づいて算出される、
   請求項１から６のいずれか１項に記載の車両運転支援装置。
9. 前記正常データ格納手段には、前記正常運転時における注視情報に基づく前記時系列特徴量が、前記正常運転時における車両運転者の属性情報または走行状態と関連付けて記憶されており、
   前記評価時における車両運転者の属性情報または走行状態を取得し、当該属性情報または走行状態と類似する属性情報または走行状態と関連付けられた時系列特徴量を前記正常データ格納手段から選択する正常データ選択手段をさらに有し、
   前記相違算出手段は、前記評価時における前記時系列特徴量と、前記正常データ選択手段によって選択された前記時系列特徴量との相違を算出する、
   請求項１から８のいずれか１項に記載の車両運転支援装置。
10. 前記相違の大きさを可視化し、前記車両運転者に提示する相違提示手段をさらに備える
    、
    請求項１から９のいずれか１項に記載の車両運転支援装置。
11. 前記相違の大きさに基づいて、前記車両運転者に刺激を与える刺激発生手段をさらに備える、
    請求項１から１０のいずれか１項に記載の車両運転支援装置。
12. 前記刺激発生手段は、前記相違の大きさに基づいて運転席を振動させる、
    請求項１１に記載の車両運転支援装置。
13. 前記刺激発生手段は、前記相違の大きさに基づいて警告音を発する、
    請求項１１または１２に記載の車両運転支援装置。
14. 前記刺激発生手段は、前記相違の大きさに基づいて車両運転者に音声で警告する、
    請求項１１から１３のいずれか１項に記載の車両運転支援装置。
15. 車両運転者の漫然運転を検知する車両運転支援方法であって、
    車両の前方方向の画像を取得する画像取得ステップと、
    車両運転者の注視情報を抽出する注視情報抽出ステップと、
    前記車両運転者の評価時における注視情報に基づいて時系列特徴量を算出する時系列特徴量算出ステップと、
    前記評価データ算出ステップにおいて算出された時系列特徴量と、あらかじめ算出された正常運転時における注視情報に基づく時系列特徴量と、の相違を算出する相違算出ステップと、
    前記相違の大きさに基づいて、前記車両運転者の漫然運転を検知する漫然運転検知ステップと、
    を含む、車両運転支援方法。
16. コンピュータに請求項１５に記載の方法の各ステップを実施させるためのプログラム。

Images