JP2014154100A

JP2014154100A - ドライバー状態表示装置

Info

Publication number: JP2014154100A
Application number: JP2013025801A
Authority: JP
Inventors: Shoichi Shimizu; 彰一清水; Makito Seki; 真規人関; Shintaro Watanabe; 信太郎渡邉
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2013-02-13
Filing date: 2013-02-13
Publication date: 2014-08-25

Abstract

【課題】歩行者や周囲の他の車両のドライバーが車両の状態を把握するために、車両のドライバーの状態を検出し車外に表示するドライバー状態表示装置を提供すること。
【解決手段】車両を運転しているドライバーの顔を撮影して画像データを出力するカメラ画像取得部と、カメラ画像取得部の出力である画像データからドライバーの視線方向を推定して出力する視線推定部と、視線推定部の出力であるドライバーの視線方向を車両の外部に表示する表示部とを備える。
【選択図】図２

Description

本発明は、歩行者や周囲の他の車両のドライバーに対し自車両のドライバーの状態を表示するドライバー状態表示装置に関するものである。

車両に取り付けられたカメラから得られる画像から歩行者を検出し、自車両と歩行者との距離に応じて点滅光を用いた警報により注意喚起を行う車両用警報装置がある（例えば特許文献１参照）。

特開２００６−２０９３２５号公報

従来の車両用警報装置では、警報を発している車両を運転しているドライバーの状態がわからないため、歩行者や周囲の他の車両のドライバーが警報を発している車両の状態の判断が困難であるという問題があった。

本発明は前記のような問題を解決するためになされたもので、自車両のドライバーの状態を検出し車外に表示するドライバー状態表示装置を提供することを目的としている。

本発明によるドライバー状態表示装置は、車両を運転しているドライバーの顔を撮影して画像データを出力するカメラ画像取得部と、カメラ画像取得部の出力である画像データからドライバーの視線方向を推定して出力する視線推定部と、視線推定部の出力であるドライバーの視線方向を車両の外部に表示する表示部とを備えるものである。

本発明によれば、車両を運転しているドライバーの顔を撮影して画像データを出力するカメラ画像取得部と、カメラ画像取得部の出力である画像データからドライバーの視線方向を推定して出力する視線推定部と、視線推定部の出力であるドライバーの視線方向を車両の外部に表示する表示部とを備えているので、歩行者が車両を運転するドライバーの注目している方向が分かり、事故に巻き込まれる可能性を軽減することができる。

本発明の実施の形態１によるドライバー状態表示装置の適用例である。本発明の実施の形態１によるドライバー状態表示装置のブロック図である。本発明の実施の形態１によるドライバー状態表示装置の動作を示すフローチャートである。本発明の実施の形態１によるドライバー状態表示装置の表示例を示した図である。本発明の実施の形態１によるドライバー状態表示装置の表示例を示した図である。本発明の実施の形態２によるドライバー状態表示装置の適用例である。本発明の実施の形態２によるドライバー状態表示装置のブロック図である。本発明の実施の形態２によるドライバー状態表示装置の動作を示すフローチャートである。本発明の実施の形態３によるドライバー状態表示装置の適用例である。本発明の実施の形態３によるドライバー状態表示装置のブロック図である。本発明の実施の形態３によるドライバー状態表示装置の動作を示すフローチャートである。本発明の実施の形態４によるドライバー状態表示装置の適用例である。本発明の実施の形態４によるドライバー状態表示装置のブロック図である。本発明の実施の形態４によるドライバー状態表示装置の動作を示すフローチャートである。本発明の実施の形態５によるドライバー状態表示装置の適用例である。本発明の実施の形態５によるドライバー状態表示装置のブロック図である。本発明の実施の形態５によるドライバー状態表示装置の動作を示すフローチャートである。本発明の実施の形態６によるドライバー状態表示装置の適用例である。本発明の実施の形態６によるドライバー状態表示装置のブロック図である。本発明の実施の形態６によるドライバー状態表示装置の動作を示すフローチャートである。本発明の実施の形態７によるドライバー状態表示装置の適用例である。本発明の実施の形態７によるドライバー状態表示装置のブロック図である。本発明の実施の形態７によるドライバー状態表示装置の動作を示すフローチャートである。

実施の形態１
図１は、本発明の実施の形態１によるドライバー状態表示装置の一例を示したものである。カメラ１によってドライバー２の顔を撮影し、撮影画像からドライバーの視線方向３を推定し、外部表示デバイス４によってドライバーの視線の方向を外部に向けて表示する。

図２は、本発明の実施の形態１によるドライバー状態表示装置の構成を示すブロック図である。カメラ映像取得部ｂ１では、ドライバー２の顔を撮影したカメラ１からの画像データを取得し、視線推定部ｂ２と表示部ｂ３に出力する。視線推定部ｂ２では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定し、表示部ｂ３に出力する。表示部ｂ３では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データと視線推定部ｂ２から入力されたドライバーの視線方向３の情報を用いて、外部表示デバイス４に視線情報を表示する。

図３は、本発明の実施の形態１によるドライバー状態表示装置の動作を示すフローチャートである。ＳＴ１においてカメラ１により画像データが取得されると、取得された画像データは視線推定部ｂ２と表示部ｂ３へと出力される。

ＳＴ２では、ＳＴ１で取得した画像データから顔を検出する。顔の検出は、顔の有無が判別できるものであればどの様なものでもかまわない。例えば、画像から得られるアピアランス情報を予め機械学習により学習し、その学習結果を用いることにより検出する。Haar like filterを特徴量として使用し、Cascade Adaboostで学習し、この識別器を用いて検出してもよい(Paul Viola and Michael Jones :”Robust Real-time Face Detection”, IJCV, vol. 57, pp. 137-154, 2004.)。

ＳＴ３ではＳＴ２の顔検出の結果から顔の有無を判定し、顔が存在しない場合は処理を終了し、顔が存在する場合はＳＴ４の視線推定処理へ顔の情報を出力する。

ＳＴ４では、ＳＴ２の顔検出結果を用いて視線方向を推定する。視線方向推定は、顔向きを視線方向とする方法や、眼球から視線方向を推定する方法がある。顔向きを視線方向とする場合は、顔にactive appearance modelを当てはめる方法(中松由香梨，滝口哲也，有木康雄: 「3次元Active Appearance Modelを利用した視線方向推定」，画像の認識・理解シンポジウム，2011)や顔のパーツ位置と顔向きの関係をConditional Regression Forestsで学習する手法(M. Dantone , J. Gall, G. Fanelli, and L. Van Gool:”Real-time Facial Feature Detection using Conditional Regression Forests”, IEEE CVPR'12)などの手法を用いればよく、手段は問わない。また、眼球から視線を求める手法では、眼球モデルを用いる手法(大野建彦，武川直樹，吉川厚:"眼球形状に基づく視線測定法"，第8回画像センシングシンポジウム，pp.307-312，2002．)、目尻と目頭、そして黒目の相対位置から視線を推定する手法などを用いればよい。

ＳＴ５では、ＳＴ４によって取得した視線方向の情報を外部表示デバイス４に表示する。表示方法は、図４のようにＳＴ１によって取得した画像にドライバーの視線方向３を示す矢印などを重畳して表示してもよい。また、図５のように、車両全面にＬＥＤ等の発光体を複数配置し、ドライバーの視線方向３に対応する発光体を光らせるとしてもよい。ドライバーの視線方向３が車両外部の人に分かる表示方法であれば、どの様なものでもかまわない。

このような処理を行うことにより、歩行者や周囲の他の車両のドライバーがドライバーの視線方向３を車両の外から知ることが可能となり、ドライバー２が自分自身の方向を見ているか否かを確認することができる。その結果、ドライバー２が自分自身の方向を見ていない場合は、ドライバー２が自分自身の存在を認識していない可能性があることが分かり、より注意深く行動することにより事故に巻き込まれる可能性を軽減することができる。

実施の形態２．
実施の形態２では、起動を制御する起動制御手段を備えたドライバー状態表示装置のうち、ウインカーの動作によって起動を制御する例を示す。図６は、本発明の実施の形態２によるドライバー状態表示装置の一例を示したものである。図６を本発明の実施の形態１によるドライバー状態表示装置の一例を示す図である図１と比べると、ターンシグナルスイッチ５とウインカー６が追加された以外は、同じである。ドライバー２は、右折・左折などを行うときにターンシグナルスイッチ５をその方向に倒すことにより、その方向のウインカー６を点滅させることができる。これにより、ドライバー２が車両を右または左に動かそうとしていることを、歩行者や周囲の他の車両のドライバーに知らせることができる。

図７は、本発明の実施の形態２によるドライバー状態表示装置の構成を示すブロック図である。図７を本発明の実施の形態１によるドライバー状態表示装置の構成を示すブロック図である図２と比べると、移動動作検知部ｂ５とターンシグナルスイッチｂ４が追加された以外は、同じである。本発明の実施の形態２では、起動制御手段は、ターンシグナルスイッチｂ４と移動動作検知部ｂ５とから構成されており、ドライバー状態表示手段は、カメラ映像取得部ｂ１と視線推定部ｂ２と表示部ｂ３とから構成されている。

移動動作検知部ｂ５では、ドライバーによってターンシグナルスイッチｂ４が操作されたこと、すなわち、ターンシグナルスイッチｂ４が左右のどちらかに倒されたか否かを検知する。そして、その結果をカメラ映像取得部ｂ１へ出力する。カメラ映像取得部ｂ１では、移動動作検知部ｂ５において「ターンシグナルスイッチｂ４が操作された」ことが検知されたときに、ドライバー２の顔を撮影したカメラ１からの画像データを取得し、視線推定部ｂ２と表示部ｂ３に出力する。視線推定部ｂ２では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定し、表示部ｂ３に出力する。表示部ｂ３では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データと視線推定部ｂ２から入力されたドライバーの視線方向３の情報を用いて、外部表示デバイス４に視線情報を表示する。

図８は、本発明の実施の形態２によるドライバー状態表示装置の動作を示すフローチャートである。ＳＴ１１において、ターンシグナルスイッチ５が操作されたかどうかを検出する。ターンシグナルスイッチ５が操作され「オン」となった場合は、ＳＴ１２においてカメラ１により画像データが取得されると、取得された画像データは視線推定部ｂ２と表示部ｂ３へと出力される。ＳＴ１３の顔検出からＳＴ１６の表示までは、本発明の実施の形態２によるドライバー状態表示装置の動作を示すフローチャートである図３に示されたＳＴ２の顔検出からＳＴ５の表示までと同じ処理を行う。

なお、実施の形態２においては、移動動作検知部ｂ５において「ターンシグナルスイッチｂ４が操作された」ことが検知されたときにドライバー２の顔を撮影したカメラ１からの画像データを取得するとしたが、カメラ１は常に画像を取得し、移動動作検知部ｂ５において「ターンシグナルスイッチｂ４が操作された」ことが検知されたときに視線推定部ｂ２においてカメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定するとしてもよい。あるいは、移動動作検知部ｂ５において「ターンシグナルスイッチｂ４が操作された」ことが検知されたときに表示部ｂ３において外部表示デバイス４に視線情報を表示するとしてもよい。さらに、通常時はカメラ映像取得部ｂ１、視線推定部ｂ２、表示部ｂ３は休止しており、移動動作検知部ｂ５において「ターンシグナルスイッチｂ４が操作された」ことが検知されたときにこれら全てを起動するというのでもよい。

このような処理を行うことにより、歩行者や周囲の他の車両のドライバーがドライバーの視線方向３を車両の外から知ることが可能となり、ドライバー２が自分自身の方向を見ているか否かを確認することができる。その結果、ドライバー２が自分自身の方向を見ていない場合は、ドライバー２が自分自身の存在を認識していない可能性があることが分かり、より注意深く行動することにより事故に巻き込まれる可能性を軽減することができる。また、ターンシグナルスイッチ５が操作されたときのみにドライバーの視線方向３を検出・表示することにより、視線検知がより必要となるドライバー２が車両の進行方向を変更しようとしているときのみにドライバーの視線方向３を表示することができる。これにより、消費電力の低減も期待できる。さらにドライバー２が車両を動かそうとしている方向をウインカー６の点滅方向で知ると同時に、ドライバーの視線方向３を知ることにより、例えば、これら二つの方向が一致していない場合にドライバー２の行動が危険であると判断しより注意深く行動することができる。

実施の形態３．
実施の形態３では、起動を制御する起動制御手段を備えたドライバー状態表示装置のうち、車両周囲の混雑度に応じて起動を制御する例を示す。図９は、本発明の実施の形態３によるドライバー状態表示装置の一例を示したものである。図９を本発明の実施の形態２によるドライバー状態表示装置の一例を示す図である図６と比べると、ターンシグナルスイッチ５が車両の外部の歩行者７を撮影するカメラ８に変わった以外は、同じである。カメラ８では、車両外部の歩行者７を撮影し、その人数を推定することにより、車両周囲の混雑度を推定する。混雑していると判断した場合、ドライバーの視線方向３を検出し、外部表示デバイス４に表示する。

図１０は、本発明の実施の形態３によるドライバー状態表示装置の構成を示すブロック図である。図１０を本発明の実施の形態２によるドライバー状態表示装置の構成を示すブロック図である図７と比べると、ターンシグナルスイッチｂ４が外部カメラ映像取得部ｂ６に、移動動作検知部ｂ５が混雑度推定部ｂ７に変わった以外は、同じである。本発明の実施の形態３では、起動制御手段は、外部カメラ映像取得部ｂ６と混雑度推定部ｂ７とから構成されており、ドライバー状態表示手段は、カメラ映像取得部ｂ１と視線推定部ｂ２と表示部ｂ３とから構成されている。

外部カメラ映像取得部ｂ６では、車外を撮影するカメラ８を用いて、車外を撮影し、混雑度推定部ｂ７へ画像を出力する。混雑度推定部ｂ７では、歩行者を検出し、検出した歩行者の数により混雑しているか否かの判断を行う。そして、判断結果をカメラ映像取得部ｂ１へ出力する。カメラ映像取得部ｂ１では、混雑度推定部ｂ７において「混雑している」ことが検知されたときに、ドライバー２の顔を撮影したカメラ１からの画像データを取得し、視線推定部ｂ２と表示部ｂ３に出力する。視線推定部ｂ２では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定し、表示部ｂ３に出力する。表示部ｂ３では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データと視線推定部ｂ２から入力されたドライバーの視線方向３の情報を用いて、外部表示デバイス４に視線情報を表示する。

図１１は、本発明の実施の形態３によるドライバー状態表示装置の動作を示すフローチャートである。ＳＴ２１において、車外を撮影するカメラ８により車外の画像を取得する。ＳＴ２２において、車外の画像から歩行者を検出し、歩行者数と歩行者の検出枠p=(p_u, p_v, p_w, p_h)を出力する。歩行者の検出には、画像から得られるアピアランス情報をあらかじめ機械学習により学習し、その学習結果を用いることにより検出する。アピアランス情報として勾配情報を用いるHOG(Histograms of Oriented Gradient：N. Dalal and B. Triggs: ”Histograms of Oriented Gradients for Human Detection”, CVPR, pp. 886-893, 2005.)特徴などを用いればよく、学習にはSVM(Support Vector Machine：Nello Cristianini(原著), John Shawe‐Taylor(原著), 大北剛(翻訳): 「サポートベクターマシン入門」. 共立出版, 2005)などを用いればよい。なお、ＳＴ２２における歩行者検出は、歩行者が検出できるものであればどの様なものでもかまわない。

ＳＴ２３では、ＳＴ２２で検出した歩行者の数を元に混雑度を推定する。混雑度は、歩行者数をN、歩行者の検出枠、画像内において歩行者を検出する領域q=(q_w, q_h)として、例えば以下の式で算出する。

ＳＴ２４では、ＳＴ２３で算出した混雑度をしきい値処理することにより、混雑しているかの判断を行う。しきい値は、ユーザが変更可能な変数であるとする。

ＳＴ２５の画像の撮影からＳＴ２９の表示までは、本発明の実施の形態２によるドライバー状態表示装置の動作を示すフローチャートである図８に示されたＳＴ１２の画像の撮影からＳＴ１６の表示までと同じ処理を行う。

歩行者を検出するためにカメラ８から得られた画像を処理していたが、本発明はこれにこだわるものではなく、カメラ８に距離センサを追加してもよい。この場合は、得られた距離情報を使用することができるため、歩行者のテクスチャ情報だけでなく、物体までの距離や大きさなどの特徴を利用できるようになる。そのため、精度の高い歩行者検出を行うことが可能となる。

なお、実施の形態３においては、混雑度推定部ｂ７において「混雑している」ことが検知されたときにドライバー２の顔を撮影したカメラ１からの画像データを取得するとしたが、カメラ１は常に画像を取得し、混雑度推定部ｂ７において「混雑している」ことが検知されたときに視線推定部ｂ２においてカメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定するとしてもよい。あるいは、混雑度推定部ｂ７において「混雑している」ことが検知されたときに表示部ｂ３において外部表示デバイス４に視線情報を表示するとしてもよい。さらに、通常時はカメラ映像取得部ｂ１、視線推定部ｂ２、表示部ｂ３は休止しており、混雑度推定部ｂ７において「混雑している」ことが検知されたときにこれら全てを起動するというのでもよい。

このような処理を行うことにより、歩行者や周囲の他の車両のドライバーがドライバーの視線方向３を車両の外から知ることが可能となり、ドライバー２が自分自身の方向を見ているか否かを確認することができる。その結果、ドライバー２が自分自身の方向を見ていない場合は、ドライバー２が自分自身の存在を認識していない可能性があることが分かり、より注意深く行動することにより事故に巻き込まれる可能性を軽減することができる。また、周辺が混雑しているとき、すなわち、周辺に歩行者がいるときのみにドライバーの視線方向３を表示することができる。これにより、消費電力の低減も期待できる。

実施の形態４．
実施の形態４では、起動を制御する起動制御手段を備えたドライバー状態表示装置のうち、白線の接近度に応じて起動を制御する例を示す。図１２は、本発明の実施の形態４によるドライバー状態表示装置の一例を示したものである。図１２を本発明の実施の形態３によるドライバー状態表示装置の一例を示す図である図９と比べると、カメラ８が撮影する対象が歩行者７から白線９に変わった以外は、同じである。カメラ８によって取得した画像から白線８を検出し、車両が白線８に接近したときにドライバーの視線方向３を表示する。

図１３は、本発明の実施の形態４によるドライバー状態表示装置の構成を示すブロック図である。図１３を本発明の実施の形態３によるドライバー状態表示装置の構成を示すブロック図である図１０と比べると、混雑度推定部ｂ７が白線接近推定部ｂ８に変わった以外は、同じである。本発明の実施の形態４では、起動制御手段は、外部カメラ映像取得部ｂ６と白線接近推定部ｂ８とから構成されており、ドライバー状態表示手段は、カメラ映像取得部ｂ１と視線推定部ｂ２と表示部ｂ３とから構成されている。

外部カメラ映像取得部ｂ６では、車外を撮影するカメラ８を用いて、車外を撮影し、白線接近推定部ｂ８へ画像を出力する。白線接近推定部ｂ８では、画像から白線８を検出し、車両が白線８に接近しているか否かの判断を行う。そして、判断結果をカメラ映像取得部ｂ１へ出力する。カメラ映像取得部ｂ１では、白線接近推定部ｂ８において「白線に接近している」ことが検知されたときに、ドライバー２の顔を撮影したカメラ１からの画像データを取得し、視線推定部ｂ２と表示部ｂ３に出力する。視線推定部ｂ２では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定し、表示部ｂ３に出力する。表示部ｂ３では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データと視線推定部ｂ２から入力されたドライバーの視線方向３の情報を用いて、外部表示デバイス４に視線情報を表示する。

図１４は、本発明の実施の形態４によるドライバー状態表示装置の動作を示すフローチャートである。ＳＴ３１において、車外を撮影するカメラ８により車外の画像を取得する。ＳＴ３２において、車外の画像から白線を推定し、自車と白線の位置関係について算出する。白線の推定には非特許文献、A. Takahashi and Y. Ninomiya: “Model-Based Lane Recognition”, Proceeding of the 1996 IEEE intelligent vehicles symposium, pp. 201-206, 1996.などを用いても良く、手段は問わない。接近度は、画像中の左白線の下端のu座標l_l、画像中の右白線の下端のu座標l_rから算出する。

接近度が０のとき車両は車線の中央に、０より小さいときは左の白線に接近し、０より大きいときは右車線に近づいていることとなる。ＳＴ３３で算出した接近度をしきい値処理することにより、白線に接近しているか否かの判断を行う。

ＳＴ３４の画像の撮影からＳＴ３８の表示までは、本発明の実施の形態３によるドライバー状態表示装置の動作を示すフローチャートである図１１に示されたＳＴ２５の画像の撮影からＳＴ２９の表示までと同じ処理を行う。

なお、実施の形態４においては、白線接近推定部ｂ８において「白線に接近している」ことが検知されたときにドライバー２の顔を撮影したカメラ１からの画像データを取得するとしたが、カメラ１は常に画像を取得し、白線接近推定部ｂ８において「白線に接近している」ことが検知されたときに視線推定部ｂ２においてカメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定するとしてもよい。あるいは、白線接近推定部ｂ８において「白線に接近している」ことが検知されたときに表示部ｂ３において外部表示デバイス４に視線情報を表示するとしてもよい。さらに、通常時はカメラ映像取得部ｂ１、視線推定部ｂ２、表示部ｂ３は休止しており、白線接近推定部ｂ８において「白線に接近している」ことが検知されたときにこれら全てを起動するというのでもよい。

このような処理を行うことにより、歩行者や周囲の他の車両のドライバーがドライバーの視線方向３を車両の外から知ることが可能となり、ドライバー２が自分自身の方向を見ているか否かを確認することができる。その結果、ドライバー２が自分自身の方向を見ていない場合は、ドライバー２が自分自身の存在を認識していない可能性があることが分かり、より注意深く行動することにより事故に巻き込まれる可能性を軽減することができる。また、車両が白線に接近したとき、すなわち、車両が歩行者に接近したときのみにドライバーの視線方向３を表示することができる。これにより、消費電力の低減も期待できる。

実施の形態５．
実施の形態５では、起動を制御する起動制御手段を備えたドライバー状態表示装置のうち、車両の走行速度に応じて起動を制御する例を示す。図１５は、本発明の実施の形態５によるドライバー状態表示装置の一例を示したものである。図１５を本発明の実施の形態１によるドライバー状態表示装置の一例を示す図である図１と比べると、車両が低速走行時にドライバーの視線方向３が外部表示デバイス４に表示されること以外は、同じである。

図１６は、本発明の実施の形態５によるドライバー状態表示装置の構成を示すブロック図である。図１６を本発明の実施の形態２によるドライバー状態表示装置の構成を示すブロック図である図７と比べると、ターンシグナルスイッチｂ４が車速情報取得部ｂ９に、移動動作検知部ｂ５が徐行運転判断部ｂ１０に変わった以外は、同じである。本発明の実施の形態５では、起動制御手段は、車速情報取得部ｂ９と徐行運転判断部ｂ１０とから構成されており、ドライバー状態表示手段は、カメラ映像取得部ｂ１と視線推定部ｂ２と表示部ｂ３とから構成されている。

車速情報取得部ｂ９では、車両の速度をCAN(Controller Area Network)などから取得し、徐行運転判断部ｂ１０へ車速を出力する。徐行運転判断部ｂ１０では、車速情報取得部ｂ９で得られた車速情報から、徐行運転か否かの判断を行い、判断結果をカメラ映像取得部ｂ１へ出力する。カメラ映像取得部ｂ１では、徐行運転判断部ｂ１０において「徐行運転である」ことが検知されたときに、ドライバー２の顔を撮影したカメラ１からの画像データを取得し、視線推定部ｂ２と表示部ｂ３に出力する。視線推定部ｂ２では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定し、表示部ｂ３に出力する。表示部ｂ３では、カメラ映像取得部ｂ１から入力されたドライバー２の画像データと視線推定部ｂ２から入力されたドライバーの視線方向３の情報を用いて、外部表示デバイス４に視線情報を表示する。

図１７は、本発明の実施の形態５によるドライバー状態表示装置の動作を示すフローチャートである。ＳＴ４１において、車両情報取得部ｂ９によって車両の測道情報を取得する。ＳＴ４２において、取得した車速情報をしきい値処理することにより、徐行運転か否かの判断を行う。例えば、車速が５ｋｍ／ｈ以下の場合、徐行運転として判断する。

ＳＴ４３の画像の撮影からＳＴ４７の表示までは、本発明の実施の形態２によるドライバー状態表示装置の動作を示すフローチャートである図８に示されたＳＴ１２の画像の撮影からＳＴ１６の表示までと同じ処理を行う。

なお、実施の形態５においては、徐行運転判断部ｂ１０において「徐行運転である」ことが検知されたときにドライバー２の顔を撮影したカメラ１からの画像データを取得するとしたが、カメラ１は常に画像を取得し、徐行運転判断部ｂ１０において「徐行運転である」ことが検知されたときに視線推定部ｂ２においてカメラ映像取得部ｂ１から入力されたドライバー２の画像データからドライバーの視線方向３を推定するとしてもよい。あるいは、徐行運転判断部ｂ１０において「徐行運転である」ことが検知されたときに表示部ｂ３において外部表示デバイス４に視線情報を表示するとしてもよい。さらに、通常時はカメラ映像取得部ｂ１、視線推定部ｂ２、表示部ｂ３は休止しており、徐行運転判断部ｂ１０において「徐行運転である」ことが検知されたときにこれら全てを起動するというのでもよい。

このような処理を行うことにより、歩行者や周囲の他の車両のドライバーがドライバーの視線方向３を車両の外から知ることが可能となり、ドライバー２が自分自身の方向を見ているか否かを確認することができる。その結果、ドライバー２が自分自身の方向を見ていない場合は、ドライバー２が自分自身の存在を認識していない可能性があることが分かり、より注意深く行動することにより事故に巻き込まれる可能性を軽減することができる。また、車両の周辺が混雑した場合、右左折時など、徐行運転のときのみにドライバーの視線方向３を表示することができる。これにより、消費電力の低減も期待できる。

実施の形態６．
図１８は、本発明の実施の形態６によるドライバー状態表示装置の一例を示したものである。図１８を本発明の実施の形態１によるドライバー状態表示装置の一例を示す図である図１と比べると、構成は同じである。

図１９は、本発明の実施の形態６によるドライバー状態表示装置の構成を示すブロック図である。図１９を本発明の実施の形態１によるドライバー状態表示装置の構成を示すブロック図である図２と比べると、視線推定部ｂ２が眠気推定部ｂ１１に変わった以外は、同じである。

カメラ映像取得部ｂ１では、ドライバーを撮影するカメラ１から画像データを取得し、眠気推定部ｂ１１と表示部ｂ３に画像を出力する。眠気推定部ｂ１１では、カメラ映像取得部ｂ１から入力された画像からドライバーが眠気を感じているか否かを推定し、表示部ｂ３へ出力する。表示部ｂ３では、カメラ映像取得部ｂ１から入力された画像と眠気推定部ｂ１１から入力されたドライバーの眠気情報を用いて、外部表示デバイス４へ眠気情報を表示する。

図２０は、本発明の実施の形態６によるドライバー状態表示装置の動作を示すフローチャートである。ＳＴ５１においてカメラ１により画像が取得されると、眠気推定部ｂ１１と表示部ｂ３へ出力する。ＳＴ５２では、画像を用いて顔を検出する。そして、ＳＴ５３では顔の有無を判定し、顔が存在する場合はＳＴ５４の眠気推定処理へ顔の位置を出力する。顔の検出は、実施の形態１と同様な処理を行う。眠気推定ＳＴ５４は、特開平8-290726に示された方法などを用いても良く、手段は問わない。ＳＴ５５では、ＳＴ５１により取得した画像とＳＴ５４により推定した眠気情報を合わせて、外部表示デバイスへ出力する。外部表示デバイスとして、取得画像と眠気推定結果を重畳表示した画像をモニタで出力する。また、眠気とＬＥＤの光量を関連付けて光らせてもよく、出力手段は問わない。

実施の形態７．
図２１は、本発明の実施の形態７によるドライバー状態表示装置の一例を示したものである。図２１を本発明の実施の形態６によるドライバー状態表示装置の一例を示す図である図１８と比べると、構成は同じである。

図２２は、本発明の実施の形態７によるドライバー状態表示装置の構成を示すブロック図である。図２２を本発明の実施の形態６によるドライバー状態表示装置の構成を示すブロック図である図１９と比べると、車速情報取得部ｂ９と高速運転判定部ｂ１２が加わった以外は、同じである。

車速情報取得部ｂ９では、車両の速度をCAN(Controller Area Network)等から取得し、高速運転判断部ｂ１２へ出力する。高速運転判断部ｂ１２では、車速情報取得部ｂ９で得られた車速から、高速走行か否かの判断を行い、判断結果を眠気推定部ｂ１１へ出力する。カメラ映像取得部ｂ１では、高速運転判定部ｂ１２において「高速運転である」ことが検知されたときに、ドライバー２の顔を撮影したカメラ１からの画像データを取得し、眠気推定部ｂ１１と表示部ｂ３に出力する。眠気推定部ｂ１１では、カメラ映像取得部ｂ１から入力された画像からドライバーが眠気を感じているか否かを推定し、表示部ｂ３へ出力する。表示部ｂ３では、カメラ映像取得部ｂ１から入力された画像と眠気推定部ｂ１１から入力されたドライバーの眠気情報を用いて、外部表示デバイス４へ眠気情報を表示する。

図２３は、本発明の実施の形態７によるドライバー状態表示装置の動作を示すフローチャートである。ＳＴ６１において、車両の速度情報を取得する。ＳＴ６２において、取得した車速情報をしきい値処理することにより、高速運転か否かの判断を行う。例えば、車速が８０ｋｍ／ｈ以上の場合、高速運転として判断する。

ＳＴ６３の画像の撮影からＳＴ６７の表示までは、本発明の実施の形態６によるドライバー状態表示装置の動作を示すフローチャートである図２０に示されたＳＴ５１の画像の撮影からＳＴ５５の表示までと同じ処理を行う。

１カメラ
２ドライバー
３ドライバーの視線方向
４外部表示デバイス

Claims

車両を運転しているドライバーの顔を撮影して画像データを出力するカメラ画像取得部と、
前記カメラ画像取得部の出力である画像データからドライバーの視線方向を推定して出力する視線推定部と、
前記視線推定部の出力であるドライバーの視線方向を前記車両の外部に表示する表示部と
を備えたドライバー状態表示装置。
ドライバー状態表示手段と、
前記ドライバー状態表示手段の起動を制御する起動制御手段と
を備え、
前記ドライバー状態表示手段は
車両を運転しているドライバーの顔を撮影して画像データを出力するカメラ画像取得部と、
前記カメラ画像取得部の出力である画像データからドライバーの視線方向を推定して出力する視線推定部と、
前記視線推定部の出力であるドライバーの視線方向を前記車両の外部に表示する表示部と
を備えることを特徴とするドライバー状態表示装置。
起動制御手段はターンシグナルスイッチが操作されたことを検知しドライバー状態表示手段を起動することを特徴とする請求項２に記載のドライバー状態表示装置。
起動制御手段は車両の周囲が混雑していることを検知しドライバー状態表示手段を起動することを特徴とする請求項２に記載のドライバー状態表示装置。
起動制御手段は車両が白線に接近していることを検知しドライバー状態表示手段を起動することを特徴とする請求項２に記載のドライバー状態表示装置。
起動制御手段は車両が徐行運転していることを検知しドライバー状態表示手段を起動することを特徴とする請求項２に記載のドライバー状態表示装置。
車両を運転しているドライバーの顔を撮影して画像データを出力するカメラ画像取得部と、
前記カメラ画像取得部の出力である画像データからドライバーが眠気を感じているか否か推定して出力する視線推定部と、
前記視線推定部の出力であるドライバーの眠気情報を前記車両の外部に表示する表示部と
を備えたドライバー状態表示装置。
ドライバー状態表示手段と、
前記ドライバー状態表示手段の起動を制御する起動制御手段と
を備え、
前記ドライバー状態表示手段は
車両を運転しているドライバーの顔を撮影して画像データを出力するカメラ画像取得部と、
前記カメラ画像取得部の出力である画像データからドライバーが眠気を感じているか否か推定して出力する視線推定部と、
前記視線推定部の出力であるドライバーの眠気情報を前記車両の外部に表示する表示部と
を備えることを特徴とするドライバー状態表示装置。
起動制御手段は車両が高速運転していることを検知しドライバー状態表示手段を起動することを特徴とする請求項８に記載のドライバー状態表示装置。