JP4696339B2 - Vehicle control device - Google Patents

Vehicle control device Download PDF

Info

Publication number
JP4696339B2
JP4696339B2 JP2000209769A JP2000209769A JP4696339B2 JP 4696339 B2 JP4696339 B2 JP 4696339B2 JP 2000209769 A JP2000209769 A JP 2000209769A JP 2000209769 A JP2000209769 A JP 2000209769A JP 4696339 B2 JP4696339 B2 JP 4696339B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
information
display
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000209769A
Other languages
Japanese (ja)
Other versions
JP2002025000A (en
Inventor
忠幸 新部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2000209769A priority Critical patent/JP4696339B2/en
Publication of JP2002025000A publication Critical patent/JP2002025000A/en
Application granted granted Critical
Publication of JP4696339B2 publication Critical patent/JP4696339B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)
  • Instrument Panels (AREA)

Abstract

PROBLEM TO BE SOLVED: To optimize display control and vehicle control corresponding to the fatigue state of a driver in the case of displaying the external information of a vehicle C obtained by a front obstruction radar 11, a road-vehicle communication unit 15, and the like, on a display screen 3a of a driving display 3 and performing vehicle control on the basis of the information. SOLUTION: A driver monitor unit 63 detects the visual line action of the driver when information is displayed. The state of the driver is determined on the basis of the visual line action of the driver, and information display control and vehicle control are performed on the basis of the determined result.

Description

【０００１】
【発明の属する技術分野】
本発明は、車両外部の情報を入手してその情報を表示するようにした車両の制御装置に関する技術分野に属する。
【０００２】
【従来の技術】
従来より、例えば特開平１１−１１５６６０号公報に示されているように、車両前端部に設けたスキャン式レーザレーダが歩行者等の障害物を検出したときに、その情報を表示したり、例えば特開平１０−１２３９４４号公報に示されているように、車両外の情報提供装置から送信される渋滞情報を受信したときに、その情報を表示手段に表示したり、例えば特開平７−１０５４７７号公報に示されているように、交差点の横断歩道を横断中の歩行者を検知する歩行者検知装置から送信される歩行者検知信号を受信したときに、車両内部に設置した表示部に歩行者情報を表示したりすることは知られている。このように入手した情報を表示手段に表示することでドライバに注意を促すと共に、その情報に基づいて衝突等の危険性が高いと判断した場合には、自動制動や自動操舵等の車両制御を行うようにしている。
【０００３】
一方、例えば特開平６−２７８４９５号公報に示されているように、ドライバの眼の開閉状態から居眠りを検出し、ドライバの居眠りを検出したときに、運転席に設けた加振手段を作動させるようにすることが提案されている。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来例のものでは、情報が表示手段に表示されても、ドライバが居眠りまではしていなくても疲労して集中力が低下しているとき等には、その情報内容を認識するまでの時間が長くなって危険を回避するのが遅れる場合がある。このようにドライバが疲労しているとき等には、上記提案例（特開平６−２７８４９５号公報）のように運転席を加振しても、危険回避行動の遅れを防止することは困難である。
【０００５】
本発明は斯かる点に鑑みてなされたものであり、その目的とするところは、入手した車両外部情報を表示したりその情報に基づいて車両制御を行ったりする場合に、その表示制御や車両制御がドライバの疲労状態等に応じた最適なものとなるようにし、情報が表示されたときにはドライバが適切に対処できるようにすることにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、この発明では、情報が表示手段に表示されたときのドライバの視線行動を検出して、このドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づいて、該ドライバの状態を判定し、この判定結果に基づいて情報表示制御や車両制御を行うとともに、上記表示手段に表示される情報が、緊急度に応じた情報量でもって表示されるものであり、上記表示手段に表示される情報の情報量に応じて、上記判定用閾値を変更するようにした。
【０００７】
具体的には、請求項１の発明では、車両の制御装置として、車両外部の情報を入手する情報入手手段と、上記車両内の所定位置に設けられ、上記情報入手手段により入手された情報が表示される表示手段と、上記情報が表示手段に表示されたときの上記車両のドライバの視線行動を検出する視線行動検出手段と、上記視線行動検出手段により検出されたドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づいて、該ドライバの状態を判定するドライバ状態判定手段と、上記ドライバ状態判定手段による判定結果に基づいて、上記情報の表示制御及び車両制御の少なくとも一方を行う制御手段とを備え、上記表示手段に表示される情報は、緊急度に応じた情報量でもって表示されるものであり、上記ドライバ状態判定手段は、上記表示手段に表示される情報の情報量に応じて、上記判定用閾値を変更するように構成されているものとする。
【０００８】
上記の構成により、情報が表示手段に表示されると、ドライバがその表示手段の表示を数回見るので、その回数やトータル視認時間等の視線行動からドライバの疲労状態等が判定され、疲労している等と判定されると、例えば情報を通常よりも早く表示したり車両制御の介入度合いを通常よりも増加したりする。この結果、ドライバの状態に応じた最適な表示制御や車両制御を行うことができ、情報を早く表示することで、ドライバが疲労していて危険回避行動の遅れが生じるような状態にあっても、余裕をもって適切に対処することができる。そして、情報量（文字数等）によってドライバが表示を見る回数や視認時間が異なるので、情報量に応じてドライバの状態の判定用閾値を変更することで、ドライバの状態を精度良く判定することができる。
【０００９】
請求項２の発明では、請求項１の発明において、ドライバ状態判定手段は、車両の走行状態に応じて、ドライバの運転負担が大きい状態にあるか否かを判定して、ドライバの運転負担が大きい状態にあると判定したときには、ドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づくドライバの状態の判定を行わないで、ドライバが正常状態にあると判定するように構成されているものとする。
【００１０】
請求項３の発明では、請求項１の発明において、ドライバ状態判定手段は、車両の走行環境に応じて、ドライバの運転負担が大きい状態にあるか否かを判定して、ドライバの運転負担が大きい状態にあると判定したときには、ドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づくドライバの状態の判定を行わないで、ドライバが正常状態にあると判定するように構成されているものとする。
【００１１】
請求項４の発明では、請求項１の発明において、ドライバ状態判定手段は、表示手段に表示される情報に対してドライバが慣れているか否か判定して、ドライバが慣れていると判定したときには、ドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づくドライバの状態の判定を行わないで、ドライバが正常状態にあると判定するように構成されているものとする。
【００１２】
これら請求項２〜４の発明により、車両の走行状態（操舵角の変動や車両重心位置の変動等）、車両の走行環境（昼夜、気象条件、渋滞やカーブの有無等）又はドライバの慣れ（同じ情報が継続して表示されることによる慣れやこの制御装置に対する慣れ等）によってドライバの視線行動が変わるので、ドライバの状態の正確な判定が困難であり、このため、ドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づくドライバの状態の判定を行わないで、ドライバが正常状態にあると判定する。
【００１３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の実施形態に係る制御装置が搭載された車両Ｃ（自動車：図３及び図４参照）のインストルメントパネル１の要部を示し、このインストルメントパネル１には、エンターテイメントディスプレイ２と、後述の如く車両Ｃ外部の各種の情報が表示されるドライビングディスプレイ３とが設けられている。上記エンターテイメントディスプレイ２の表示画面２ａは、インストルメントパネル１の上下方向略中央であって車幅方向略中央位置に配設されている。一方、上記ドライビングディスプレイ３の表示画面３ａは、インストルメントパネル１の上部であって車幅方向略中央位置に設けられたメータユニット４内の運転席側端部に配設されている。このことで、ドライビングディスプレイ３の表示画面３ａは、エンターテイメントディスプレイ２の表示画面２ａに対して運転席側斜め上方に配設されていると共に、運転席の前方でかつ車両Ｃのドライバのアイポイントよりも下方に配設されていることになる。
【００１４】
上記メータユニット４には、スピードメータ、フューエルゲージ、水温ゲージ、オドメータ、トリップメータ、セレクタインジケータライト及びターンシグナルインジケータライト等のインジケータライト、並びに、オルタネータワーニングライト及びオイルプレッシャーワーニングライト等の各種ワーニングライトが設けられている。
【００１５】
上記メータユニット４（ドライビングディスプレイ３）は、図２に示すように、インストルメントパネル１の車両前側端部に配設されている一方、上記エンターテイメントディスプレイ２の表示画面２ａは、ドライビングディスプレイ３の表示画面３ａよりも車両後側に配設されている。このことで、エンターテイメントディスプレイ２の表示画面２ａの垂直視認角、つまりエンターテイメントディスプレイ２の表示画面２ａと車両Ｃのドライバのアイポイントとを結ぶ線の上下方向角は、約２２度に設定され、ドライビングディスプレイ３の表示画面３ａの垂直視認角は約１１度に設定されて、ドライビングディスプレイ３の表示画面３ａの視認性がエンターテイメントディスプレイ２の表示画面２ａよりも良くなっている。
【００１６】
尚、図１中、５はオーディオ装置等の車載電子機器（図２では図示を省略）であり、６はステアリングホイールであり、３０は、後述の右フロントスピーカであり、図２中、７はフロントウインドガラスである。
【００１７】
上記ドライビングディスプレイ３の表示画面３ａは、車両Ｃの走行に関する注意対象又は危険対象を表す文字情報を表示する第１表示部８と、車両Ｃの走行状況を表す図形情報を表示する第２表示部９と、表示内容に関するシンボルマークｍ（図２５等参照）を表示する第３表示部１０とが設けられている。上記第１表示部８及び第３表示部１０は第２表示部９の上方に配置され、第３表示部１０は第１表示部８の運転席とは反対側に設けられている。
【００１８】
上記ステアリングホイール６のコラムカバーには、車両Ｃのドライバの頭顔部に赤外光を投光する赤外投光ランプ６１と、この赤外投光ランプ６１から投光された赤外光の頭顔部での反射光を撮影するドライバ撮像カメラ６２とが設けられている。尚、赤外投光ランプ６１の投光部及びドライバ撮像カメラ６２の受光部には赤外透過フィルタが設けられている。
【００１９】
ここで、この制御装置におけるセンサ類やアクチュエータ類等の各構成部品について説明する。
【００２０】
図３において、１１は、車両Ｃの前方に存在する障害物を検出しかつ車両Ｃとその障害物との位置関係及び距離を測定する、レーザレーダやミリ波レーダ等からなる前方障害物レーダ１１であり、この前方障害物レーダ１１により、車両Ｃの前方の走行路を横断しようとする歩行者を検出したときには警報を行う（歩行者警報システム）と共に、後述の加減速手段５２の駆動制御により、車両Ｃの前方車（先行車）との車間距離を一定に保持した状態で走行したり、前方車が存在しないときには定速で走行したりするようになっている（車間距離保持機能付きオートクルーズ及び衝突警報システム（ＩＣＣＷ（Intellgent Cruise Control ＆Collision Warning））。
【００２１】
１２は、車両Ｃの前方を赤外線により撮像する赤外線カメラであり、この赤外線カメラ１２により撮像された赤外線画像が上記ドライビングディスプレイ３の表示画面３ａに表示され、夜間時や濃霧時に走行しているときであっも車両Ｃの前方視界が良好に確認できるようになっている（オールウェザービジョンシステム）。
【００２２】
１３は、所定の走行位置検出等を行うべく道路上に設けられた磁気マーカからの磁気を検出する磁気マーカセンサであり、１５は、車両Ｃ外部の情報提供装置（インフラ）から送信される、車両Ｃの走行路前方の道路状況等に関する情報（事故、路上落下物、渋滞等の情報）を受信する路車間通信ユニットであって、この路車間通信ユニット１５により車両Ｃ外部の道路状況等に関する情報を入手するようになっている（情報通信システム）。
【００２３】
１６は、道路上の白線を検出するための白線検出用ＣＣＤカメラであり、この白線検出用ＣＣＤカメラ１６からの映像が画像処理されて、白線に対する車両Ｃの走行位置が検出され、車両Ｃが白線を跨いで走行車線を逸脱したときには警報を行うようになっている（車線逸脱警報システム）。尚、この車線逸脱警報システムでは、上記白線検出用ＣＣＤカメラ１６に代わりに、上記磁気マーカセンサ１３を用いて車線逸脱を検出するようにしてもよい。
【００２４】
１７は、エンジンの吸気系に設けられたエレキスロットルであって、スロットル弁を電動制御して車両Ｃの自動加減速を行うために用いられる。また、１８は、ブレーキユニットであって、障害物検出時に必要に応じて自動制動を行うために用いられる。さらに、２０は、後述する制御を行うＣＰＵである。
【００２５】
図４において、２２，２２は、ハーフミラーで構成された左右のドアミラー２１，２１内にそれぞれ配設された後側方障害物撮影用ＣＣＤカメラ（ラインＣＣＤセンサ）であり、この各後側方障害物撮影用ＣＣＤカメラ２２により、車両Ｃの走行車線の隣り側の車線後方を撮像し、車両Ｃが車線変更を行う際にその車線変更側の後側方に他の車両が存在するときには警報を行うようになっている（後側方警報システム）。
【００２６】
２４は、車両Ｃに発生しているヨーレートを検出するヨーレートセンサであり、２５は、ステアリングホイール６の操舵角を検出する舵角センサであり、２６は、車両Ｃの車速を検出する車速センサであり、２７は、ＧＰＳ人工衛星から送信されるＧＰＳ信号を受信して、車両Ｃの現在位置を検出するＧＰＳセンサであり、２８は、道路地図情報を記憶したＲＯＭであり、上記ＧＰＳセンサ２７により検出された車両Ｃの現在位置とＲＯＭ２８により記憶された道路地図情報とに基づいて、目的地までの経路誘導等を行うようになっている（経路誘導システム）。
【００２７】
図５及び図６に示すように、インストルメントパネル１の車幅方向両端部には左右フロントスピーカ２９，３０がそれぞれ設けられ、左右両フロントドアの下部には左右フロントドアスピーカ３１，３２がそれぞれ設けられ、リヤトレイの車幅方向両端部には左右リヤトレイスピーカ３３，３４がそれぞれ設けられている。これら６つのスピーカ２９〜３４は警報出力用に用いられるものであって、立体音響を形成する。尚、上記各スピーカ２９〜３４に代えて、電子音声や電子ブザー音等を発生させる警報装置を用いてもよい。
【００２８】
上記ＧＰＳセンサ２７及びＲＯＭ２８は、図７に示すように、ナビゲーション装置４０の一部を構成しており、このナビゲーション装置４０は、該装置４０（経路誘導システム）を起動させるためのナビゲーションメインスイッチ３６と、エンターテインメントディスプレイ２の表示画面２ａに表示される地図の位置をスクロールするための地図スクロールスイッチ３７と、目的地を設定するときに用いる目的地設定スイッチ３８と、表示画面２ａに表示される道路地図（経路誘導時にはドライビングディスプレイ３の表示画面３ａに表示される道路地図）の表示形態を上視平面図又は鳥瞰図モードに切り換えるための表示モード切換スイッチ３９とを有している。
【００２９】
図７において、４３は、ヘッドライト、スモールライト及びフォグランプの少なくとも１つが点灯するとＯＮになるライトスイッチであり、４４は、上記ＩＣＣＷを起動させるためのオートクルーズ用メインスイッチであり、４５は、上記情報通信システムを起動させるための情報通信用メインスイッチであり、４６は、上記オールウェザービジョンシステムを起動させるためのオールウェザービジョン用メインスイッチであり、４７は、上記車線逸脱警報システムを起動させるための車線逸脱警報用メインスイッチであり、４８は、上記後側方警報システムを起動させるための後側方警報用メインスイッチであり、４９は、上記歩行者警報システムを起動させるための歩行者警報用メインスイッチである。尚、上記情報通信用メインスイッチ４５、オールウェザービジョン用メインスイッチ４６、車線逸脱警報用メインスイッチ４７、後側方警報用メインスイッチ４８及び歩行者警報用メインスイッチ４９は、必ずしも必要なものではなく、エンジンの始動（イグニッションスイッチＯＮ）と同時に上記各メインスイッチ４５〜４９にそれぞれ対応するシステムを自動的に起動させるようにしてもよい。
【００３０】
上記ＣＰＵ２０には、上記ナビゲーション装置４０の各要素２７，２８，３６〜３９からの信号と、上記前方障害物レーダ１１、赤外線カメラ１２、磁気マーカセンサ１３、路車間通信ユニット１５、白線検出用ＣＣＤカメラ１６、後側方障害物撮影用ＣＣＤカメラ２２、ヨーレートセンサ２４、舵角センサ２５及び車速センサ２６からの信号と、上記ライトスイッチ４３及び各メインスイッチ４４〜４９からの信号と、ドライバモニタユニット６３からの信号（車両Ｃのドライバの視線行動データ）とが入力されるようになっており、該各信号に基づいてＣＰＵ２０が所定のプログラムに従って動作して、上記エンターテイメントディスプレイ２、上記ドライビングディスプレイ３、加減速手段５２、操舵手段５３及び上記各スピーカ２９〜３４を駆動制御するようになっている。上記加減速手段５２は、上記エレキスロットル１７、上記ブレーキユニット１８及び不図示の変速機を有していて、これらにより車両Ｃの自動加減速を行うように構成され、上記操舵手段５３は、ステアリング制御又は左右車輪の制動力配分制御を行って車両Ｃの自動操舵を行うように構成されている。
【００３１】
上記ドライバモニタユニット６３は、図８に示すように、上記ドライバ撮像カメラ６２から出力される映像信号に基づいて、画像処理部６３ａにおいて一般的な２値化処理や特徴点の抽出処理を行うことによってドライバの頭顔部の画像を抽出し、その抽出した頭顔部の画像に基づいて、注視点検出部６３ｂにおいてドライバの頭顔方向、注視方向及び瞳孔径をそれぞれ検出すると共に、該注視方向よりドライバの注視点を検出し、この検出したドライバの注視点等を視線行動データとして上記ＣＰＵ２０内のドライバ状態判定部２０ａに対して出力するようになっている。このドライバ状態判定部２０ａでは、上記ドライバの視線行動データに基づいて、後述の如く、車両Ｃのドライバの状態、つまりドライバが正常状態にあるか、又は覚醒低下・疲労・集中力低下の状態にあるかが判定されるようになっている。
【００３２】
上記ドライバモニタユニット６３におけるドライバの視線行動の検出処理動作は、図９の如く行われる。すなわち、最初のステップＳＡ１で、赤外投光ランプ６１によってドライバの頭顔部に赤外光を投光すると共に、ドライバ撮像カメラ６２によって撮影した頭顔部のアナログ映像信号を画像処理部６３ａに取り込み、その映像信号に一般的な２値化処理を施すことにより、ピクセル毎のデジタル多値画像データに変換する。
【００３３】
次のステップＳＡ２では、上記多値画像データから、一般的な画像処理手法を用いてドライバの顔画像部分を抽出し、その抽出した顔画像部分に含まれる複数の特徴点（例えば目頭、目尻、鼻孔等）の位置を検出する。
【００３４】
次のステップＳＡ３では、上記ステップＳＡ２で抽出した顔画像部分の画像データから、赤外光の投光によってドライバの眼球の角膜に発生している反射点の位置と瞳孔の位置とを、一般的な画像処理手法を用いて検出する。
【００３５】
次のステップＳＡ４では、注視点検出部６３ｂにおいて、上記ステップＳＡ３で検出した瞳孔の位置に対応する画像データの水平方向のピクセル数のうちの最大値を、瞳孔径として検出する。ここで、水平方向に注目するのは、垂直方向に注目した場合には瞬きにより正確な瞳孔径が検出できないからである。
【００３６】
次のステップＳＡ５では、上記ステップＳＡ２で検出した特徴点の位置に基づいて、所定の３次元座標空間におけるドライバの頭顔面の傾きを算出し、このことにより、ドライバの頭顔部が向けられている方向（頭顔方向）を計測する。
【００３７】
次のステップＳＡ６では、上記ステップＳＡ３で検出した角膜反射点と、上記ステップＳＡ５で検出した頭顔方向とに基づいて、ドライバの視線の方向（注視方向）を検出する。
【００３８】
次のステップＳＡ７では、上記ステップＳＡ６で検出した注視方向と、予め記憶している車両Ｃ内外の所定位置（前方位置、ルームミラーの取付位置、左右のドアミラー２１，２１の取付位置等）とに基づいて、ドライバの注視点を検出してリターンする。
【００３９】
次に、上記ＣＰＵ２０における基本的な制御処理動作を図１０のフローチャートにより説明する。
【００４０】
先ず、最初のステップＳＢ１で、ＣＰＵ２０に入力される上記各信号に基づいて、ドライバに報知すべき情報や出力すべき警報、実施すべき車両制御を選定し、次のステップＳＢ２で、情報表示が必要か否かを判定する。
【００４１】
上記判定がＮＯであるときには、ステップＳＢ５に進む一方、判定がＹＥＳであるときには、ステップＳＢ３に進んで、前回のステップＳＢ４で記憶したドライバ状態判定結果を読み出し、このドライバ状態に応じて、情報をドライビングディスプレイ３の表示画面３ａに表示するタイミング等を変更して情報提供を実施する。そして、ステップＳＢ４で、ドライバ状態判定部２０ａにおいて、上記ステップＳＢ３における情報提供時のドライバの視線行動に基づいて、ドライバ状態を判定して記憶し、その後にステップＳＢ５に進む。尚、最初にこのフローを実行するときには、上記ステップＳＢ３では、ドライバ状態判定結果に関係なく予め決まられた標準的な方法で、情報をドライビングディスプレイ３の表示画面３ａに表示する。
【００４２】
上記ステップＳＢ５では、警報ＯＮが必要か否かを判定する。この判定がＮＯであるときには、ステップＳＢ７に進む一方、判定がＹＥＳであるときには、ステップＳＢ６に進んで、上記ステップＳＢ４で記憶したドライバ状態判定結果を読み出し、ドライバ状態に応じて警報を行うタイミング等を変更して警報を実施し、その後にステップＳＢ７に進む。
【００４３】
上記ステップＳＢ７では、加減速手段５２による自動加減速制御や操舵手段５３によるステアリング制御等の車両制御が必要か否かを判定する。この判定がＮＯであるときには、そのままリターンする一方、判定がＹＥＳであるときには、ステップＳＢ８に進んで、上記ステップＳＢ４で記憶したドライバ状態判定結果を読み出し、ドライバ状態に応じて減速加速度の度合い等を変更して車両制御を実施し、その後にリターンする。
【００４４】
上記ドライバ状態判定部２０ａにおけるドライバ状態判定（上記ステップＳＢ４）の詳細な処理動作は、図１１の如く行われる。すなわち、最初のステップＳＣ１で、上記ドライバモニタユニット６３の注視点検出部６３ｂよりドライバの視線行動データを取り込み、この視線行動データに基づいて、上記ステップＳＢ３において情報がドライビングディスプレイ３の表示画面３ａに表示されたときのドライバの視線行動を検出する。具体的には、ドライビングディスプレイ３の表示画面３ａに表示された情報をドライバが見たトータル時間（視認時間）、その情報に対して反応するまでの時間（反応時間）、表示を見た回数（視認回数）及び１回毎の表示を見ている時間（停留時間）等を検出する。
【００４５】
次のステップＳＣ２で、ヨーレートセンサ２４、舵角センサ２５、車速センサ２６及び前方障害物レーダ１１からの検出データにより車両Ｃの走行状態（車速、舵角の変動量、車両Ｃ重心位置の変動量、車両Ｃとその前方車との車間距離の変動量等）を検出し、次のステップＳＣ３で、路車間通信ユニット１５、ＧＰＳセンサ２７、ＲＯＭ２８等からの情報により車両Ｃの走行環境（時間帯、天候、走行路前方の事故・渋滞の有無、カーブ等の走行路形状、情報提供や警報の介入頻度等）を検出する。
【００４６】
次のステップＳＣ４で、上記車両Ｃの走行状態及び走行環境に基づいて、車両Ｃが、ドライバの運転負担が大きい走行環境内を走行中であるか否かを判定する。この判定がＮＯであるときには、ステップＳＣ５に進んで、上記ステップＳＣ１で検出したドライバの視線行動に基づいて、情報提供や警報の介入に対するドライバの慣れを判定し、次のステップＳＣ６で、情報提供や警報の介入に対してドライバが慣れているか否かを判定する。具体的には、ドライバの視線行動から注意対象や危険対象（前方車や車線等）を見ていると判断できるにも拘わらず、情報提供や警報が頻繁に発生するか又は長時間継続する場合には、同じ情報提供や警報が継続してなされることに対して、又はこの制御装置自体に対してドライバが慣れていると判定する。
【００４７】
上記ステップＳＣ６の判定がＮＯであるときには、ステップＳＣ７に進んで、上記ステップＳＣ１で検出したドライバの視線行動と、上記ステップＳＢ３においてドライビングディスプレイ３の表示画面３ａに表示された情報の態様（情報量（文字数等）、情報の緊急度等）とに基づいてドライバの状態を判定してリターンする。
【００４８】
上記ドライバ状態の判定は、具体的には、図１２〜図１４に示すマップを用いて行う。つまり、視認時間が判定用閾値（情報量が多いほど大きくする）以下のときには正常状態にあるとし、判定用閾値よりも長いときには覚醒低下・疲労・集中力低下の状態にあるとする。また、反応時間が判定用閾値（情報の緊急度が高いほど段階的に小さくする）以下のときには正常状態にあるとし、判定用閾値よりも長いときには覚醒低下・疲労・集中力低下の状態にあるとする。さらに、視認回数が判定用閾値（情報量が多いほど段階的に大きくする）以下のときには正常状態にあるとし、判定用閾値よりも多いときには覚醒低下・疲労・集中力低下の状態にあるとする。また、同様に、瞬きの回数や閉眼時間からドライバ状態を判定することができる。そして、上記各パラメータ（視認時間、反応時間等）毎にドライバ状態を判定し、覚醒低下・疲労・集中力低下の状態にあるとするパラメータの数が所定数（例えば１又は２：パラメータの総数によって変わる）以上ある場合には、最終的に、ドライバが覚醒低下・疲労・集中力低下の状態にあると判定し、所定数よりも少ない場合には正常状態にあると判定する。この最終の判定結果をドライバ状態として記憶する。
【００４９】
尚、停留時間が基準時間（図１５において実線で示すように一定値（例えば１秒）であってもよく、破線で示すように車速が大きいほど小さくなるようにしてもよい）よりも長い場合には、注意を促す警報を発したり表示の切換や中断等を行ったりする。
【００５０】
上記ステップＳＢ３においてドライビングディスプレイ３の表示画面３ａに表示された情報に関しての情報量及び緊急度の程度は、図１６のような関係にある。すなわち、表示された情報が単なる情報提供の場合（後述の注意喚起表示の場合）には情報量は最も多く、警報を行う（警報音を発すると共に表示も行う）場合（後述の操作特定時表示の場合）には情報提供の場合よりも少なくなり、車両制御を行う（その旨の表示も行う）場合（後述の自動制御表示の場合）には最も少なくなる。また、単なる情報提供の情報のうち、路車間通信ユニット１５により受信した情報等の緊急度は最も低く、前方障害物レーダ１１により検出した前方車との車間距離情報等は上記受信情報よりも高くなる。そして、警報を行う場合には緊急度がさらに高くなり、車両制御を行う場合には最も高くなる。
【００５１】
図１１における上記ステップＳＣ４の判定がＹＥＳであってドライバの運転負担が大きいとき、又は、上記ステップＳＣ６の判定がＹＥＳであって情報提供や警報の介入に対してドライバが慣れているときには、ステップＳＣ８に進んで、ドライバは正常状態にあるとしてリターンする。つまり、上記ステップＳＣ１で検出したドライバの視線行動からは覚醒低下・疲労・集中力低下の状態にあると判定される場合であっても、ドライバの運転負担が大きくて運転に集中しているとき、又は、情報提供や警報の介入に対してドライバが慣れているときには、ドライバ状態の正確な判定が困難であるため、ドライバ状態の判定を行わないで正常状態にあるとする。尚、ドライバの運転負担が大きいとき、又は、情報提供や警報の介入に対してドライバが慣れているときには、このようにドライバ状態の判定を行わないで正常状態にあるとする代わりに、上記判定用閾値を正常状態にあると判定され易いように変更してもよい。
【００５２】
上記ステップＳＣ４における判定（車両Ｃが、ドライバの運転負担が大きい走行環境内を走行中であるか否かの判定）は、具体的には以下の如く行う。すなわち、先ず、車両Ｃの走行状態から、図１７〜図１９に示すマップを用いて運転負担大状態にあるか、又は通常状態にあるかを判定する。つまり、舵角の変動量が判定用閾値（車速が大きいほど小さくする）以下のときには通常状態にあるとし、判定用閾値よりも大きいときには運転負担大状態にあるとする。また、車両Ｃ重心位置の変動量が判定用閾値（車速が大きいほど小さくする）以下のときには通常状態にあるとし、判定用閾値よりも大きいときには運転負担大状態にあるとする。さらに、車両Ｃと前方車との車間距離の変動量が判定用閾値（車速が大きいほど大きくする）以下のときには通常状態にあるとし、判定用閾値よりも大きいときには運転負担大状態にあるとする（但し、割り込み車両等による変動は無視する）。
【００５３】
次に、車両Ｃの走行環境から運転負担大状態にあるか、又は通常状態にあるかを判定する。つまり、夜間や特定の時間帯（例えば１８時〜翌日の７時（季節に応じて変えてもよい）：ＧＰＳセンサ２７が受信したＧＰＳ信号に含まれる時間情報やＣＰＵ２０内の時計情報を利用して検出）、雨、雪、霧等のような悪天候のとき（路車間通信ユニット１５を介して気象庁のデータを入手）、走行路前方に事故・渋滞が発生しているとき、交差点進入時（ＧＰＳセンサ２７及びＲＯＭ２８からの信号により検出）、交差点右折時（ＧＰＳセンサ２７、ＲＯＭ２８及び不図示のウィンカスイッチからの信号により検出）、小コーナ進入時（ＧＰＳセンサ２７及びＲＯＭ２８からの信号により検出）、横加速度が高いコーナ進入時（ＧＰＳセンサ２７、ＲＯＭ２８及び車速センサ２６からの信号により検出）、事故多発地域走行時（路車間通信ユニット１５、ＧＰＳセンサ２７及びＲＯＭ２８からの信号により検出）、トンネル走行時（ＧＰＳセンサ２７、ＲＯＭ２８及びライトスイッチ４３からの信号により検出）、車線を跨いで進路変更するとき、オールウェザービジョンシステムを起動させているとき、フォグランプが点灯しているとき、ワイパー作動時、情報提供や警報の介入頻度が多くて危険度が高いと判断されるとき等には、運転負担大状態にあると判定する。
【００５４】
そして、上記各パラメータ（走行状態のパラメータ（舵角の変動量、車両Ｃ重心位置の変動量等）及び走行環境のパラメータ（時間帯、天候等））毎に運転負担大状態か否かを判定し、運転負担大状態にあると判定されたパラメータが少なくとも１つある場合には、最終的に、ドライバの運転負担が大きい走行環境内を走行中であると判定し、全てのパラメータに関して通常状態にあると判定された場合には、ドライバの運転負担が大きい走行環境内を走行中ではないと判定する。尚、走行状態のパラメータと走行環境のパラメータとで重み付けを異ならせて最終の判定を行うようにしてもよい。例えば、運転負担大状態にあると判定された走行状態のパラメータの数と、運転負担大状態にあると判定された走行環境のパラメータの数に０．５を掛けた値とを加えた値が設定値以上の場合には、ドライバの運転負担が大きい走行環境内を走行中であると判定するようにしてもよい。
【００５５】
次に、上記ＣＰＵ２０における各システムの個別の処理動作について説明する。
【００５６】
図２０は、経路誘導システムの制御処理動作を示し、この処理動作は、ナビゲーション装置４０のナビゲーションメインスイッチ３６がＯＮのときにスタートする。
【００５７】
先ず、最初のステップＳＤ１で、ＧＰＳセンサ２７からの現在位置情報と、ＲＯＭ２８に記憶している道路地図情報とに基づいて、エンターテインメントディスプレイ２の表示画面２ａに地図と現在位置とを表示する。尚、後述するように、ドライビングディスプレイ３は、経路誘導が必要な場合に駆動される。
【００５８】
次のステップＳＤ２では、目的地設定スイッチ３８がＯＮか否か（目的地の設定が終了しているか否か）を判定し、この判定がＮＯであるときには、ステップＳＤ３に進んで、経路誘導フラグＦａを０に設定してリターンする一方、判定がＹＥＳであるときには、ステップＳＤ４に進む。
【００５９】
上記ステップＳＤ４では、車両Ｃが経路表示エリアを走行中か否かを判定する。具体的には、車両Ｃの現在位置が、経路を表示する必要がある交差点を中心とした所定半径の円内にあるか否かを判定する。この所定半径は、上記ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも大きく設定される（後述の如く情報の介入タイミングが早くなる）。
【００６０】
上記ステップＳＤ４の判定がＮＯであるときには、上記ステップＳＤ３に進む一方、判定がＹＥＳであるときには、ステップＳＤ５に進んで、経路誘導フラグＦａを１に設定してリターンする。したがって、経路誘導が必要なときのみに経路誘導フラグＦａが１に設定される。
【００６１】
図２１は、ＩＣＣＷの制御処理動作を示し、この処理動作は、オートクルーズ用メインスイッチ４４がＯＮのときにスタートする。
【００６２】
先ず、最初のステップＳＥ１で、前方障害物レーダ１１、ヨーレートセンサ２４、舵角センサ２５及び車速センサ２６からの検出データを入力し、次のステップＳＥ２で、上記ヨーレートセンサ２４、舵角センサ２５及び車速センサ２６からの検出データに基づいて車両Ｃの進行路（車両Ｃがカーブを曲がろうとしているときには、そのカーブの進行路）を演算する（詳細は、特開平７−２２０１１９号公報参照）。
【００６３】
次のステップＳＥ３では、上記前方障害物レーダ１１からの検出データに基づいて、上記進行路内において車両Ｃから第１所定距離内に障害物が存在するか否かを判定する。この第１所定距離は、上記ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも大きく設定される（後述の如く情報提供の介入タイミングが早くなる）。
【００６４】
上記ステップＳＥ３の判定がＮＯであるときには、ステップＳＥ４に進んで、前方に障害物がないことに対応して、車両Ｃの車速が予め設定された車速（ドライバが設定してもよい）になるように、加減速手段５２の駆動制御を行い（オートクルーズ）、次のステップＳＥ５で、前方に障害物が存在することを示す情報提供フラグＦｃ１、１次警報フラグＦｃ２及び２次警報フラグＦｃ３を全て０にリセットしてリターンする。
【００６５】
一方、上記ステップＳＥ３の判定がＹＥＳであるときには、ステップＳＥ６に進んで、前回に障害物がなかったか（新規に障害物を検出したか）否かを判定し、この判定がＮＯであるときには、ステップＳＥ８に進む一方、判定がＹＥＳであるときには、ステップＳＥ７に進んで、上記情報提供フラグＦｃ１を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して単発人工音を出力する。つまり、新規に障害物を検出したときには、その旨をドライバに音で知らせ、この音による情報提供のタイミングは、ドライバ状態による上記第１所定距離の変更に伴って変更されることになる。尚、ドライバ状態に応じて音の大きさ等を変えるようにしてもよく、ドライバが正常状態にあるときには、音による情報提供を行わず（後述するように表示による情報提供は行う）、覚醒低下・疲労・集中力低下の状態にあるときのみに、音（音及び表示の両方又は音のみ）による情報提供を行うようにしてもよい。また、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、情報提供だけでなく、車両制御（ブレーキ制御やステアリング制御）を行ってドライバを覚醒復帰させるようにしたり、休憩を促す表示に切り換えたりしてもよい（後述の歩行者警報システム等においても同様）。
【００６６】
上記ステップＳＥ７の後のステップＳＥ８では、車両Ｃと障害物との距離Ｌが第１基準値Ｌ１（上記第１所定距離よりも小さい）よりも小さいか否かを判定する。この第１基準値Ｌ１も、上記第１所定距離と同様に、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも大きく設定される。
【００６７】
上記ステップＳＥ８の判定がＮＯであるときには、ステップＳＥ９に進んで、上記１次警報フラグＦｃ２及び２次警報フラグＦｃ３を共に０にリセットし、その後、ステップＳＥ１０で、車両Ｃと障害物（前方車）との距離Ｌが予め設定された距離（ドライバが設定してもよい）になるように、加減速手段５２の駆動制御（車間距離保持走行）を行ってリターンする。
【００６８】
一方、上記ステップＳＥ８の判定がＹＥＳであるときには、ステップＳＥ１１に進んで、車両Ｃと障害物との距離Ｌが第２基準値Ｌ２（Ｌ２＜Ｌ１）よりも小さいか否かを判定する。この第２基準値Ｌ２も、上記第１基準値Ｌ１と同様に、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも大きく設定される。
【００６９】
上記ステップＳＥ１１の判定がＮＯ（Ｌ２≦Ｌ＜Ｌ１）であるときには、ステップＳＥ１２に進んで、１次警報フラグＦｃ２を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して擬音（クラクション音）を出力する。このときも、ドライバ状態に応じて音の大きさ等を変えるようにしてもよい。
【００７０】
そして、ステップＳＥ１３で、情報提供フラグＦｃ１及び２次警報フラグＦｃ３を共に０にリセットし、その後、ステップＳＥ１４で、上記ステップＳＥ１０と同様に、車両Ｃと障害物（前方車）との距離Ｌが予め設定された距離（ドライバが設定してもよい）になるように、加減速手段５２の駆動制御（車間距離保持走行）を行ってリターンする。
【００７１】
一方、上記ステップＳＥ１１の判定がＹＥＳであるときには、ステップＳＥ１５に進んで、２次警報フラグＦｃ３を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して連続人工音を出力する。このときも、ドライバ状態に応じて音の大きさ等を変えるようにしてもよい。
【００７２】
そして、ステップＳＥ１６で、情報提供フラグＦｃ１及び１次警報フラグＦｃ２を共に０にリセットし、その後、ステップＳＥ１７で、車両Ｃと障害物との距離Ｌが予め設定された距離（ドライバが設定してもよい）に近付くように、加減速手段５２のうちのブレーキユニット１８を作動（自動制動）させてリターンする。尚、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、減速度合いを正常状態のときよりも大きくするようにしてもよい。
【００７３】
図２２は、上記経路誘導システムとＩＣＣＷとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、ＩＣＣＷに関する情報表示を優先させる。
【００７４】
すなわち、最初のステップＳＥ２１で、上記情報提供フラグＦｃ１、１次警報フラグＦｃ２及び２次警報フラグＦｃ３のいずれかが１であるか否かを判定し、この判定がＮＯ（Ｆｃ１＝０かつＦｃ２＝０かつＦｃ３＝０）であるときには、ステップＳＥ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【００７５】
上記ステップＳＥ２２の判定がＮＯであるときには、ステップＳＥ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＥ２２の判定がＹＥＳであるときには、ステップＳＥ２４に進んで、表示モード切換スイッチ３９による表示モード（上視平面図又は鳥瞰図）に応じた経路誘導表示を実行してリターンする。つまり、表示モードが上視平面図モードのときには、ドライビングディスプレイ３の表示画面３ａに、図２３に示すような形態で経路誘導表示を実行し、表示モードが鳥瞰図モードのときには、表示画面３ａに、図２４に示すような形態で経路誘導表示を実行する。尚、図２３及び図２４中、αは表示画面３ａに表示された、車両Ｃ（自車）を示すマーク（自車マークαという）である。
【００７６】
一方、上記ステップＳＥ２１の判定がＹＥＳであるときには、ステップＳＥ２５に進んで、情報提供フラグＦｃ１が１であるか否かを判定する。このステップＳＥ２５の判定がＹＥＳであるときには、ステップＳＥ２６に進んで、ドライビングディスプレイ３の表示画面３ａに、図２５に示すような注意喚起表示を実行してリターンする。つまり、表示画面３ａの第１表示部８に、注意対象を示す文字情報を表示し、第２表示部９に、前方の状況を示す図形情報を表示し、第３表示部１０に、表示内容に関するシンボルマークｍを表示する。尚、図２５中、βは、他車（ここでは前方車）を示すマーク（他車マークβという）である。
【００７７】
したがって、新規に障害物を検出したときには、上記のように単発人工音を出力すると共に、その情報を表示画面３ａに表示して、ドライバに注意を促す（単発人工音は、その障害物を最初に検出したときにだけ出力されるが、表示は、車両Ｃの進行路内の第１所定距離内にその障害物が存在する限り継続される）。この表示による情報提供のタイミングは、上述の如くドライバ状態に応じて変更されることになる（ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くなる）。尚、ドライバ状態に応じて表示形態（文字の大きさや色等）を変えてもよく、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、文字に枠を付けたり表示を点滅させたりして強調するようにしてもよい。
【００７８】
上記ステップＳＥ２５の判定がＮＯであるときには、ステップＳＥ２７に進んで、１次警報フラグＦｃ２が１であるか否かを判定する。この判定がＹＥＳであるときには、ステップＳＥ２８に進んで、表示画面３ａに、図２６に示すような操作特定時表示を実行してリターンする。つまり、車両Ｃと障害物との距離Ｌが第２基準値Ｌ２以上で第１基準値Ｌ１よりも小さいときには、クラクション音を出力すると共に、表示画面３ａの第１表示部８に「ブレーキ」と表示して、ドライバにブレーキ操作を促す。
【００７９】
一方、上記ステップＳＥ２７の判定がＮＯ（Ｆｃ３＝１）であるときには、ステップＳＥ２９に進んで、表示画面３ａに、図２７に示すような自動制御表示を実行してリターンする。つまり、車両Ｃと障害物との距離Ｌが第２基準値Ｌ２よりも小さくなったときには、表示画面３ａに自動制動を行っていることを表示する。
【００８０】
以上の制御動作により、車間距離情報をドライバの判断支援情報として提供し、衝突の危険性が高い場合にはドライバに警報を与え、ドライバが適切な回避行動をとらない場合には自動制動を行って衝突を避けることができる。そして、その情報提供、警報及び自動制動を行うタイミングは、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くなる。
【００８１】
図２８は、歩行者警報システムの制御処理動作を示し、この処理動作は、歩行者警報用メインスイッチ４９がＯＮになったときにスタートする。尚、歩行者警報用メインスイッチ４９の代わりにオートクルーズ用メインスイッチ４４がＯＮになったときに上記ＩＣＣＷの制御処理動作と同時にスタートさせてもよく、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【００８２】
先ず、最初のステップＳＦ１で、前方障害物レーダ１１、ヨーレートセンサ２４、舵角センサ２５及び車速センサ２６からの検出データを入力し、次のステップＳＦ２で、上記ヨーレートセンサ２４、舵角センサ２５及び車速センサ２６からの検出データに基づいて車両Ｃの進行路を演算する（詳細は、特開平１０−１００８２０号公報参照）。
【００８３】
次のステップＳＦ３では、上記前方障害物レーダ１１からの検出データに基づいて、上記進行路内において車両Ｃから第２所定距離内に横断歩行者が存在するか否かを判定する。この横断歩行者の判定は、検出した障害物が進行路と垂直な方向に移動する速度が、人の移動速度の範囲内にあるかどうかで行う（詳細は、特開平１０−１００８２０号公報参照）。そして、上記第２所定距離は、上記ＩＣＣＷの制御処理と同様に、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも大きく設定される（情報提供の介入タイミングが早くなる）。
【００８４】
上記判定がＮＯであるときには、ステップＳＦ４に進んで、横断歩行者が存在することを示す情報提供フラグＦｄ１及び警報フラグＦｄ２を共に０にリセットしてリターンする。
【００８５】
一方、上記判定がＹＥＳであるときには、ステップＳＦ５に進んで、前回に横断歩行者がいなかったか（新規に横断歩行者を検出したか）否かを判定し、この判定がＮＯであるときには、ステップＳＦ７に進む一方、判定がＹＥＳであるときには、ステップＳＦ６に進んで、上記情報提供フラグＦｄ１を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して単発人工音を出力する。つまり、新規に歩行者を検出したときには、その旨をドライバに音で知らせ、この音による情報提供のタイミングは、ドライバ状態による上記第２所定距離の変更に伴って変更されることになる。
【００８６】
上記ステップＳＦ６の後のステップＳＦ７では、車両Ｃと横断歩行者との距離Ｄが第１所定値Ｄ１（上記第２所定距離よりも小さい）よりも小さいか否かを判定する。この第１所定値Ｄ１も、上記第２所定距離と同様に、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも大きく設定される。
【００８７】
上記ステップＳＦ７の判定がＮＯであるときには、ステップＳＦ８に進んで、上記警報フラグＦｄ２を０にリセットしてリターンする一方、判定がＹＥＳであるときには、ステップＳＦ９に進んで、警報フラグＦｄ２を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して擬音（クラクション音）を出力する。そして、ステップＳＦ１０で、情報提供フラグＦｄ１を０にリセットしてリターンする。
【００８８】
図２９は、上記経路誘導システムと歩行者警報システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、歩行者警報システムに関する情報表示を優先させる。
【００８９】
すなわち、最初のステップＳＦ２１で、上記情報提供フラグＦｄ１及び警報フラグＦｄ２の一方が１であるか否かを判定し、この判定がＮＯ（Ｆｄ１＝０かつＦｄ２＝０）であるときには、ステップＳＦ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【００９０】
上記ステップＳＦ２２の判定がＮＯであるときには、ステップＳＦ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＦ２２の判定がＹＥＳであるときには、ステップＳＦ２４に進んで、上記ステップＳＥ２４と同様に、表示モードに応じた経路誘導表示を実行してリターンする。
【００９１】
一方、上記ステップＳＦ２１の判定がＹＥＳであるときには、ステップＳＦ２５に進んで、情報提供フラグＦｄ１が１であるか否かを判定する。このステップＳＦ２５の判定がＹＥＳであるときには、ステップＳＦ２６に進んで、ドライビングディスプレイ３の表示画面３ａに、図３０に示すような注意喚起表示を実行してリターンする。尚、図３０中、ｈは、歩行者図形である。
【００９２】
したがって、新規に歩行者を検出したときには、上記のように単発人工音を出力すると共に、その情報を表示画面３ａに表示して、ドライバに注意を促す（単発人工音は、その歩行者を最初に検出したときにだけ出力されるが、表示は、車両Ｃの進行路内の第２所定距離内にその歩行者が存在する限り継続される）。この表示による情報提供のタイミングは、上述の如くドライバ状態に応じて変更されることになる（ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くなる）。
【００９３】
上記ステップＳＦ２５の判定がＮＯ（Ｆｄ２＝１）であるときには、ステップＳＦ２７に進んで、表示画面３ａに、図３１に示すような操作特定時表示を実行してリターンする。つまり、車両Ｃと障害物との距離Ｌが第１所定値Ｄ１よりも小さいときには、クラクション音を出力すると共に、表示画面３ａの第１表示部８に「ブレーキ」と表示して、ドライバにブレーキ操作を促す。尚、図３１の表示内容に代えて、図３２に示すように、表示画面３ａの第２表示部９に自車マークαを表示するようにしてもよい。
【００９４】
以上の制御動作により、前方障害物レーダ１１により入手した歩行者情報をドライバに提供し、衝突の危険性が高い場合にはドライバに警報を与えることができる。そして、その情報提供及び警報を行うタイミングは、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くなる。
【００９５】
図３３は、前方障害物情報通信システムの制御処理動作を示し、この処理動作は、情報通信用メインスイッチ４５がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【００９６】
先ず、最初のステップＳＧ１で、路車間通信ユニット１５から、車両Ｃの前方走行路における障害物の情報（事故、路上落下物、渋滞情報等）を入力し、次のステップＳＧ２で、前方走行路に障害物が存在するか否かを判定する。
【００９７】
上記判定がＮＯであるときには、ステップＳＧ３に進んで、障害物が存在することを示す情報提供フラグＦｅ１を０にリセットしてリターンする一方、判定がＹＥＳであるときには、上記情報提供フラグＦｅ１を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して単発人工音を出力してリターンする。この音の出力タイミングや大きさ等は、ドライバ状態に応じて変更することができる。
【００９８】
図３４は、上記経路誘導システムと前方障害物情報通信システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合は、経路誘導に関する情報表示を優先させる。これは、前方障害物情報はかなり先（例えば車両Ｃの１００ｍ先）に存在する情報であり、車両Ｃが、その障害物が存在する地点よりも手前（例えば車両Ｃの５０ｍ先）の交差点で右折又は左折するケースがあるからである。
【００９９】
すなわち、最初のステップＳＧ２１で、経路誘導フラグＦａが１であるか否かを判定する。この判定がＹＥＳであるときには、ステップＳＧ２２に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１００】
一方、上記ステップＳＧ２１の判定がＮＯであるときには、ステップＳＧ２３に進んで、情報提供フラグＦｅ１が１であるか否かを判定する。このステップＳＧ２３の判定がＹＥＳであるときには、ステップＳＧ２４に進んで、ドライビングディスプレイ３の表示画面３ａに、図３５（渋滞情報の場合）に示すような注意喚起表示を実行してリターンする一方、ステップＳＧ２３の判定がＮＯであるときには、ステップＳＧ２５に進んで、ドライビングディスプレイ３の表示画面３ａをＯＦＦにしてリターンする。
【０１０１】
以上の制御動作により、路車間通信ユニット１５により入手した、前方走行路における障害物に関する情報をドライバに提供することができる。そして、その情報提供のタイミングや表示形態を、ドライバ状態に応じて変更することができ、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くなるようにしたり文字を大きくしたりすることができる。
【０１０２】
図３６は、オールウェザービジョンシステムの制御処理動作を示し、この処理動作は、オールウェザービジョン用メインスイッチ４６がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【０１０３】
先ず、最初のステップＳＨ１で、ライトスイッチがＯＮか否かを判定し、この判定がＮＯであるときには、ステップＳＨ２に進んで、ライトスイッチ４５がＯＮであることを示す情報提供フラグＦｆ１を０にリセットしてリターンする一方、判定がＹＥＳであるときには、ステップＳＨ３に進んで、上記情報提供フラグＦｆ１を１に設定してリターンする。
【０１０４】
図３７は、上記経路誘導システムとオールウェザービジョンシステムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、オールウェザービジョンシステムに関する情報表示を優先させる。
【０１０５】
すなわち、最初のステップＳＨ２１で、上記情報提供フラグＦｆ１が１であるか否かを判定する。つまり、ドライバの肉眼では前方が視認し難い夜間や濃霧の発生時においてライトスイッチ４３がＯＮになったか否かを判定する。この判定がＮＯであるときには、ステップＳＨ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【０１０６】
上記ステップＳＨ２２の判定がＮＯであるときには、ステップＳＨ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＨ２２の判定がＹＥＳであるときには、ステップＳＨ２４に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１０７】
一方、上記ステップＳＨ２１の判定がＹＥＳであるときには、ステップＳＨ２５に進んで、知覚機能拡大表示を実行してリターンする。つまり、赤外線カメラ１２により撮像した赤外線画像をドライビングディスプレイ３の表示画面３ａに表示する。
【０１０８】
以上の制御動作により、赤外線カメラ１２を用いて可視化した悪環境（夜間、濃霧発生時、降雨時等）における前方走行シーンの映像をドライバの認知を支援する情報として提供することができる。
【０１０９】
図３８は、横断歩行者情報通信システムの制御処理動作を示し、この処理動作は、上記前方障害物情報通信システムと同様に、情報通信用メインスイッチ４５がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【０１１０】
先ず、最初のステップＳＩ１で、路車間通信ユニット１５から、車両Ｃの前方交差点における横断歩道上の歩行者の存在情報を入力し、次のステップＳＩ２で、前方交差点における横断歩道上に歩行者が存在するか否かを判定する。
【０１１１】
上記判定がＮＯであるときには、ステップＳＩ３に進んで、歩行者が存在することを示す情報提供フラグＦｇ１を０にリセットしてリターンする一方、判定がＹＥＳであるときには、ステップＳＩ４に進んで、上記情報提供フラグＦｇ１を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して単発人工音を出力してリターンする。この音の出力タイミングや大きさ等は、ドライバ状態に応じて変更することができる。
【０１１２】
図３９は、上記経路誘導システムと横断歩行者情報通信システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、横断歩行者情報通信システムに関する情報表示を優先させる。
【０１１３】
すなわち、最初のステップＳＩ２１で、上記情報提供フラグＦｇ１が１であるか否かを判定し、この判定がＮＯであるときには、ステップＳＩ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【０１１４】
上記ステップＳＩ２２の判定がＮＯであるときには、ステップＳＩ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＩ２２の判定がＹＥＳであるときには、ステップＳＩ２４に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１１５】
一方、上記ステップＳＩ２１の判定がＹＥＳであるときには、ステップＳＩ２５に進んで、経路誘導フラグＦａが１であるか否かを判定する。このステップＳＩ２５の判定がＹＥＳであるときには、ステップＳＩ２６に進んで、歩行者が経路誘導方向に存在するか否かを判定する。
【０１１６】
上記ステップＳＩ２６の判定がＹＥＳであるときには、ステップＳＩ２７に進んで、ドライビングディスプレイ３の表示画面３ａに、図４０（経路誘導により右折する場合）に示すような注意喚起表示（経路誘導表示も行われる）を実行してリターンする一方、上記ステップＳＩ２６の判定がＮＯであるときには、上記ステップＳＩ２４に進み、歩行者に関する表示は行わないで経路誘導表示のみを行う。
【０１１７】
上記ステップＳＩ２５の判定がＮＯであるときには、ステップＳＩ２８に進んで、交差点に存在する歩行者が、車両Ｃの現走行路の前方を横断する歩行者か否かを判定する。このステップＳＩ２８の判定がＹＥＳであるときには、ステップＳＩ２９に進んで、ドライビングディスプレイ３の表示画面３ａに、図４１に示すような注意喚起表示を実行してリターンする一方、上記ステップＳＩ２８の判定がＮＯであるときには、ステップＳＩ３０に進んで、上記ステップＳＩ２３と同様に、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする。
【０１１８】
以上の制御動作により、路車間通信ユニット１５により入手した、前方交差点の横断歩道上における歩行者に関する情報をドライバに提供することができる。そして、その情報提供のタイミングや表示形態をドライバ状態に応じて変更することで、ドライバ状態に応じた適切な情報提供を行うことができる。
【０１１９】
図４２は、対向車情報通信システムの制御処理動作を示し、この処理動作も情報通信用メインスイッチ４５がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【０１２０】
先ず、最初のステップＳＪ１で、路車間通信ユニット１５から、車両Ｃの前方交差点付近における対向車の存在情報（対向車の速度や車両Ｃから対向車までの距離等の情報も含む）を入力し、次のステップＳＪ２で、前方交差点付近（例えば交差点から５０ｍ以内）に対向車が存在するか否かを判定する。
【０１２１】
上記判定がＮＯであるときには、ステップＳＪ３に進んで、対向車が存在することを示す情報提供フラグＦｈ１を０にリセットしてリターンする一方、判定がＹＥＳであるときには、ステップＳＪ４に進んで、上記情報提供フラグＦｈ１を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して単発人工音を出力してリターンする。この音の出力タイミングや大きさ等は、ドライバ状態に応じて変更することができる。
【０１２２】
図４３は、上記経路誘導システムと対向車情報通信システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合は、経路誘導に関する情報表示を優先させる。
【０１２３】
すなわち、最初のステップＳＪ２１で、経路誘導フラグＦａが１であるか否かを判定する。この判定がＮＯであるときには、ステップＳＪ２２に進んで、ドライビングディスプレイ３の表示画面３ａをＯＦＦにしてリターンする。
【０１２４】
一方、上記ステップＳＪ２１の判定がＹＥＳであるときには、ステップＳＪ２３に進んで、情報提供フラグＦｈ１が１であるか否かを判定する。このステップＳＪ２３の判定がＹＥＳであるときには、ステップＳＪ２４に進んで、ドライビングディスプレイ３の表示画面３ａに、図４４に示すような注意喚起表示を実行してリターンする。つまり、経路誘導により右折する際に、直進車が存在することをドライバに知らせて注意を促す。一方、上記ステップＳＪ２３の判定がＮＯであるときには、ステップＳＪ２５に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１２５】
以上の制御動作により、路車間通信ユニット１５により入手した、前方交差点付近における対向車に関する情報をドライバに提供して右折判断を支援することができる。そして、その情報提供のタイミングや表示形態をドライバ状態に応じて変更することで、ドライバ状態に応じた適切な情報提供を行うことができる。
【０１２６】
図４５は、第１の出会い頭車両情報通信システムの制御処理動作を示し、この処理動作も情報通信用メインスイッチ４５がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【０１２７】
先ず、最初のステップＳＫ１で、路車間通信ユニット１５から、車両Ｃの前方走行路における一時停止交差点の存在情報を入力し、次のステップＳＫ２で、車両Ｃ前方の第１基準距離内に一時停止交差点が存在するか否かを判定する。この第１基準距離は、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のとき（例えば５０ｍ）よりも大きく設定される。
【０１２８】
上記判定がＮＯであるときには、ステップＳＫ３に進んで、一時停止交差点が存在することを示す情報提供フラグＦｊ１及び警報フラグＦｊ２を共に０にリセットしてリターンする一方、判定がＹＥＳであるときには、ステップＳＫ４に進んで、車両Ｃから一時停止交差点までの距離Ｄａが第２所定値Ｄ２よりも小さいか否かを判定する。この第２所定値Ｄ２は、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のとき（例えば１５ｍ）よりも大きく設定される。
【０１２９】
上記ステップＳＫ４の判定がＮＯであるときには、ステップＳＫ５に進んで、上記情報提供フラグＦｊ１を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して単発人工音を出力する。そして、ステップＳＫ６で、上記警報フラグＦｊ２を０にリセットしてリターンする。
【０１３０】
一方、上記ステップＳＫ４の判定がＹＥＳであるときには、ステップＳＫ７に進んで、警報フラグＦｊ２を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して連続人工音を出力する。そして、ステップＳＫ８で、情報提供フラグＦｊ１を０にリセットしてリターンする。
【０１３１】
図４６は、上記経路誘導システムと第１の出会い頭車両情報通信システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、第１の出会い頭車両情報通信システムに関する情報表示を優先させる。
【０１３２】
すなわち、最初のステップＳＫ２１で、上記情報提供フラグＦｊ１及び警報フラグＦｊ２の一方が１であるか否かを判定し、この判定がＮＯ（Ｆｊ１＝０かつＦｊ２＝０）であるときには、ステップＳＫ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【０１３３】
上記ステップＳＫ２２の判定がＮＯであるときには、ステップＳＫ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＫ２２の判定がＹＥＳであるときには、ステップＳＫ２４に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１３４】
一方、上記ステップＳＫ２１の判定がＹＥＳであるときには、ステップＳＫ２５に進んで、情報提供フラグＦｊ１が１であるか否かを判定する。このステップＳＫ２５の判定がＹＥＳであるときには、ステップＳＫ２６に進んで、ドライビングディスプレイ３の表示画面３ａに、図４７に示すような注意喚起表示を実行してリターンする。このとき、表示画面３ａの第２表示部９には、車両Ｃの走行状況を表すグラフィック情報と、緊急度に関する数値情報（一時停止交差点までの距離Ｄａを示す数値（図４７では４０ｍ））とが表示され、この数値情報はグラフィック情報よりもドライバに近い側（右ハンドル車の場合には右側）に表示される。
【０１３５】
上記ステップＳＫ２５の判定がＮＯ（Ｆｊ２＝１）であるときには、ステップＳＫ２７に進んで、表示画面３ａに、図４８に示すような操作特定時表示を実行してリターンする。つまり、車両Ｃから一時停止交差点までの距離Ｄａが第２所定値Ｄ２よりも小さいときには、表示画面３ａの第１表示部８に「減速停止」と表示して、ドライバに減速停止を促す。このときも、第２表示部９には、車両Ｃの走行状況を表すグラフィック情報と、緊急度に関する数値情報（図４８では１０ｍ）とが表示され、この数値情報はグラフィック情報よりもドライバに近い側に表示される。
【０１３６】
以上の制御動作により、路車間通信ユニット１５により入手した一時停止交差点情報をドライバに提供し、一時停止交差点にかなり近付いた場合にはドライバに警報を与えることができる。そして、その情報提供及び警報を行うタイミングは、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くなる。
【０１３７】
図４９は、第２の出会い頭車両情報通信システムの制御処理動作を示し、この処理動作も情報通信用メインスイッチ４５がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【０１３８】
先ず、最初のステップＳＬ１で、路車間通信ユニット１５から、車両Ｃの前方走行路の一時停止交差点における優先道路側の接近車両の存在情報（接近車両の速度や位置等の情報も含む）を入力し、次のステップＳＬ２で、一時停止交差点で一時停止した車両Ｃに対して第２基準距離内に優先道路側からの接近車両が存在するか否かを判定する。この第２基準距離は、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のとき（例えば５０ｍ）よりも大きく設定される。
【０１３９】
上記判定がＮＯであるときには、ステップＳＬ３に進んで、優先道路側からの接近車両が存在することを示す情報提供フラグＦｋ１及び警報フラグＦｋ２を共に０にリセットしてリターンする一方、判定がＹＥＳであるときには、ステップＳＬ４に進んで、車両Ｃから優先道路側の接近車両までの距離Ｄｂが第３所定値Ｄ３よりも小さいか否かを判定する。この第３所定値Ｄ３は、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のとき（例えば１５ｍ）よりも大きく設定される。
【０１４０】
上記ステップＳＬ４の判定がＮＯであるときには、ステップＳＬ５に進んで、上記情報提供フラグＦｋ１を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して単発人工音を出力する。そして、ステップＳＬ６で、上記警報フラグＦｋ２を０にリセットしてリターンする。
【０１４１】
一方、上記ステップＳＬ４の判定がＹＥＳであるときには、ステップＳＬ７に進んで、警報フラグＦｋ２を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して連続人工音を出力する。そして、ステップＳＬ８で、情報提供フラグＦｋ１を０にリセットしてリターンする。
【０１４２】
図５０は、上記経路誘導システムと第２の出会い頭車両情報通信システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、第２の出会い頭車両情報通信システムに関する情報表示を優先させる。
【０１４３】
すなわち、最初のステップＳＬ２１で、上記情報提供フラグＦｋ１及び警報フラグＦｋ２の一方が１であるか否かを判定し、この判定がＮＯ（Ｆｋ１＝０かつＦｋ２＝０）であるときには、ステップＳＬ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【０１４４】
上記ステップＳＬ２２の判定がＮＯであるときには、ステップＳＬ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＬ２２の判定がＹＥＳであるときには、ステップＳＬ２４に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１４５】
一方、上記ステップＳＬ２１の判定がＹＥＳであるときには、ステップＳＬ２５に進んで、情報提供フラグＦｋ１が１であるか否かを判定する。このステップＳＬ２５の判定がＹＥＳであるときには、ステップＳＬ２６に進んで、ドライビングディスプレイ３の表示画面３ａに、図５１に示すような注意喚起表示を実行してリターンする。このとき、表示画面３ａの第２表示部９には、自車マークαと優先道路側の接近車両（他車マークβ）と該接近車両の走行速度とが表示される。
【０１４６】
上記ステップＳＬ２５の判定がＮＯ（Ｆｋ２＝１）であるときには、ステップＳＬ２７に進んで、表示画面３ａに、図５２に示すような操作特定時表示を実行してリターンする。つまり、車両Ｃから優先道路側の接近車両までの距離Ｄｂが第３所定値Ｄ３よりも小さいときには、表示画面３ａの第１表示部８に「左右確認」と表示して、ドライバに確認動作を促す。
【０１４７】
以上の制御動作により、路車間通信ユニット１５により入手した優先道路側の接近車両情報を、ドライバの一時停止後の発進判断を支援する情報として提供することができ、接近車両が車両Ｃにかなり近付いた場合にはドライバに警報を与えることができる。そして、その情報提供及び警報を行うタイミングは、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くなる。
【０１４８】
図５３は、カーブ情報通信システム（カーブ進入速度警報システム）の制御処理動作を示し、この処理動作も情報通信用メインスイッチ４５がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【０１４９】
先ず、最初のステップＳＭ１で、路車間通信ユニット１５から、車両Ｃの前方走行路におけるカーブの存在情報（曲率半径Ｒ、カーブまでの距離等を含む）を入力し、次のステップＳＭ２で、車両Ｃから第３基準距離内にカーブが存在するか否かを判定する。この第３基準距離は、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも大きく設定される。
【０１５０】
上記判定がＮＯであるときには、ステップＳＭ３に進んで、カーブが存在することを示す情報提供フラグＦｍ１及び警報フラグＦｍ２を共に０にリセットしてリターンする一方、判定がＹＥＳであるときには、ステップＳＭ４に進んで、車両Ｃの車速が所定車速Ｖ０よりも小さいか否かを判定する。この所定車速Ｖ０は、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のとき（例えば４０ｋｍ／ｈ）よりも小さく設定される。
【０１５１】
上記ステップＳＭ４の判定がＮＯであるときには、ステップＳＭ５に進んで、上記情報提供フラグＦｍ１を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して単発人工音を出力する。そして、ステップＳＭ６で、上記警報フラグＦｍ２を０にリセットしてリターンする。
【０１５２】
一方、上記ステップＳＭ４の判定がＹＥＳであるときには、ステップＳＭ７に進んで、警報フラグＦｍ２を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して連続人工音を出力する。そして、ステップＳＭ８で、情報提供フラグＦｍ１を０にリセットしてリターンする。
【０１５３】
図５４は、上記経路誘導システムとカーブ情報通信システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、カーブ情報通信システムに関する情報表示を優先させる。
【０１５４】
すなわち、最初のステップＳＭ２１で、上記情報提供フラグＦｍ１及び警報フラグＦｍ２の一方が１であるか否かを判定し、この判定がＮＯ（Ｆｍ１＝０かつＦｍ２＝０）であるときには、ステップＳＭ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【０１５５】
上記ステップＳＭ２２の判定がＮＯであるときには、ステップＳＭ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＭ２２の判定がＹＥＳであるときには、ステップＳＭ２４に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１５６】
一方、上記ステップＳＭ２１の判定がＹＥＳであるときには、ステップＳＭ２５に進んで、情報提供フラグＦｍ１が１であるか否かを判定する。このステップＳＭ２５の判定がＹＥＳであるときには、ステップＳＭ２６に進んで、ドライビングディスプレイ３の表示画面３ａに、図５５に示すような注意喚起表示を実行してリターンする。このとき、表示画面３ａの第１表示部８には、車両Ｃからカーブまでの距離と曲率半径Ｒとが表示される。
【０１５７】
上記ステップＳＭ２５の判定がＮＯ（Ｆｍ２＝１）であるときには、ステップＳＭ２７に進んで、表示画面３ａに、図５６に示すような操作特定時表示を実行してリターンする。つまり、車速が所定車速Ｖ０よりも大きいときには、表示画面３ａの第１表示部８に「減速４０ｋｍ／ｈ」等と表示して、ドライバに減速操作を促す。
【０１５８】
以上の制御動作により、路車間通信ユニット１５により入手したカーブ情報を、ドライバの減速判断を支援する情報として提供することができ、オーバースピードによる車線逸脱の可能性がある場合にはドライバに警報を与えることができる。そして、その情報提供を行うタイミングは、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くなる。また、警報を行う所定車速も、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも警報が生じ易くなる。
【０１５９】
図５７は、車線逸脱警報システムの制御処理動作を示し、この処理動作は車線逸脱警報用メインスイッチ４７がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【０１６０】
先ず、最初のステップＳＮ１で、白線検出用ＣＣＤカメラ１６からの映像を画像処理することにより白線情報を入手する。尚、磁気マーカセンサ１３からの走行位置情報と、路車間通信ユニット１５からの道路形状情報とを入手するようにしてもよい。
【０１６１】
次のステップＳＮ２で、上記白線情報に基づいて、走行レーンに対する車両Ｃの逸脱状態を検出し（詳細は、特開平８−１６９９４号公報参照）、次のステップＳＮ３で、車線逸脱が発生したか否かを判定する。
【０１６２】
上記判定がＮＯであるときには、ステップＳＮ４に進んで、車線逸脱が発生したことを示す一次警報フラグＦｎ１及び二次警報フラグＦｎ２を共に０にリセットしてリターンする一方、判定がＹＥＳであるときには、ステップＳＮ５に進んで、逸脱量が所定量よりも大きいか否かを判定する。この所定量は、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも小さく設定される。
【０１６３】
上記ステップＳＮ５の判定がＮＯであるときには、ステップＳＮ６に進んで、車両Ｃが逸脱方向に移動しているか否かを判定する。このステップＳＮ６の判定がＮＯであるときには、ドライバのステアリングホイール６の操作により逸脱が修復されていると判断してそのままリターンする一方、ステップＳＮ６の判定がＹＥＳであるときには、ステップＳＮ７に進む。
【０１６４】
上記ステップＳＮ７では、上記一次警報フラグＦｎ１を１に設定すると共に、左右フロントドアスピーカ３１，３２のうち逸脱方向のものを駆動して、擬音「ゴトゴト音」を出力する。この音の出力タイミングや大きさ等は、ドライバ状態に応じて変更することができる。そして、ステップＳＮ８で、上記二次警報フラグＦｎ２を０にリセットしてリターンする。
【０１６５】
一方、上記ステップＳＮ５の判定がＹＥＳであるときには、ステップＳＮ９に進んで、車両Ｃが逸脱方向に移動しているか否かを判定する。このステップＳＮ９の判定がＮＯであるときには、ドライバのステアリングホイール６の操作により逸脱が修復されていると判断してそのままリターンする一方、ステップＳＮ９の判定がＹＥＳであるときには、ステップＳＮ１０に進む。
【０１６６】
上記ステップＳＮ１０では、操舵手段５３を駆動して逸脱方向と逆方向に自動操舵し、ステップＳＮ１１で、上記二次警報フラグＦｎ２を１に設定すると共に、左右フロントスピーカ２９，３０を駆動して連続人工音を出力し、その後、ステップＳＮ１２で、一次警報フラグＦｎ１を０にリセットしてリターンする。上記自動操舵の介入タイミングや音の出力タイミングは、ドライバ状態による上記所定量の変更に伴って変更される。また、自動操舵における操舵量や音の大きさ等も、ドライバ状態に応じて変更することができる。
【０１６７】
図５８は、上記経路誘導システムと車線逸脱警報システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、車線逸脱警報システムに関する情報表示を優先させる。
【０１６８】
すなわち、最初のステップＳＮ２１で、上記一次警報フラグＦｎ１及び二次警報フラグＦｎ２の一方が１であるか否かを判定し、この判定がＮＯ（Ｆｎ１＝０かつＦｎ２＝０）であるときには、ステップＳＮ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【０１６９】
上記ステップＳＮ２２の判定がＮＯであるときには、ステップＳＮ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＮ２２の判定がＹＥＳであるときには、ステップＳＮ２４に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１７０】
一方、上記ステップＳＮ２１の判定がＹＥＳであるときには、ステップＳＮ２５に進んで、一次警報フラグＦｎ１が１であるか否かを判定する。このステップＳＮ２５の判定がＹＥＳであるときには、ステップＳＮ２６に進んで、ドライビングディスプレイ３の表示画面３ａに、図５９（左側に逸脱した場合）に示すような操作特定時表示を実行してリターンする。つまり、車線逸脱時には、表示画面３ａの第１表示部８に、「左車線」等と表示してドライバに逸脱回避操作を促す。
【０１７１】
上記ステップＳＮ２５の判定がＮＯ（Ｆｎ２＝１）であるときには、ステップＳＮ２７に進んで、表示画面３ａに、図６０に示すような自動制御表示を実行してリターンする。つまり、逸脱量が所定量よりも大きいときには、表示画面３ａに自動操舵を行っていることを表示する。
【０１７２】
以上の制御動作により、車線を逸脱したときにドライバに警報を与え、ドライバが適切な回避行動をとらなで逸脱量が所定量よりも大きくなった場合には自動操舵を行って車線中央に戻すことができる。そして、その警報及び自動操舵を行うタイミングは、ドライバ状態に応じて変更することができ、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くして安全性を高めることができる。
【０１７３】
図６１は、後側方警報システムの制御処理動作を示し、この処理動作は後側方警報用メインスイッチ４８がＯＮになったときにスタートする。尚、上述の如くイグニッションスイッチＯＮと同時にスタートさせてもよい。
【０１７４】
先ず、最初のステップＳＯ１で、各後側方障害物撮影用ＣＣＤカメラ２２からの検出データを入手し、次のステップＳＯ２で、上記ＣＣＤカメラ２２の検出結果に基づいて、車両Ｃ（自車）の左右後側方における車両（他車）の存在情報（車両Ｃから他車までの距離、両者の相対速度等の情報も含む）を演算する（詳細は、特開平１０−２０６１１９号公報参照）。
【０１７５】
次のステップＳＯ３では、車両Ｃに対して後側方の設定距離内に他車が存在しかつその存在する方向へのウィンカ操作があるか否かを判定する。この設定距離は、ドライバ状態に応じて変更され、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも大きく設定される。
【０１７６】
上記判定がＮＯであるとき（車線変更をしないでそのまま直進するとき等）には、ステップＳＯ４に進んで、他車が存在することを示す情報提供フラグＦｏ１を１に設定し、ステップＳＯ５で、警報フラグＦｏ２を０にリセットしてリターンする。
【０１７７】
一方、上記判定がＹＥＳであるときには、ステップＳＯ６に進んで、上記警報フラグＦｏ２を１に設定すると共に、左右リヤトレイスピーカ３３，３４のうち他車が存在する側のものを駆動して、擬音（クラクション音）を出力する。そして、ステップＳＯ７で、情報提供フラグＦｏ１を０にリセットしてリターンする。
【０１７８】
図６２は、上記経路誘導システムと後側方警報システムとが共存する場合におけるドライビングディスプレイ３の表示画面３ａへの情報の表示制御を示し、この場合、後側方警報システムに関する情報表示を優先させる。
【０１７９】
すなわち、最初のステップＳＯ２１で、上記情報提供フラグＦｏ１及び警報フラグＦｏ２の一方が１であるか否かを判定し、この判定がＮＯ（Ｆｏ１＝０かつＦｏ２＝０）であるときには、ステップＳＯ２２に進んで、経路誘導フラグＦａが１であるか否かを判定する。
【０１８０】
上記ステップＳＯ２２の判定がＮＯであるときには、ステップＳＯ２３に進んで、ドライビングディスプレイ３の表示画面３ａの表示をＯＦＦにしてリターンする一方、ステップＳＯ２２の判定がＹＥＳであるときには、ステップＳＯ２４に進んで、表示モードに応じた経路誘導表示を実行してリターンする。
【０１８１】
一方、上記ステップＳＯ２１の判定がＹＥＳであるときには、ステップＳＯ２５に進んで、情報提供フラグＦｏ１が１であるか否かを判定する。このステップＳＯ２５の判定がＹＥＳであるときには、ステップＳＯ２６に進んで、ドライビングディスプレイ３の表示画面３ａに、図６３に示すような知覚機能拡大表示を実行してリターンする。
【０１８２】
上記ステップＳＯ２５の判定がＮＯ（Ｆｏ２＝１）であるときには、ステップＳＯ２７に進んで、表示画面３ａに、図６４に示すような操作特定時表示を実行してリターンする。つまり、車両Ｃに対して後側方の設定距離内に他車が存在しかつその存在する方向へのウィンカ操作があるときには、表示画面３ａの第１表示部８に「右後方」等と表示して、ドライバに車線変更の中止を促す。
【０１８３】
以上の制御動作により、後側方の設定距離内に他車が存在するときには、その存在情報をドライバに提供し、ドライバが車線変更を行う意志を示したときには、警報を与えることができる。そして、その情報提供及び警報を行うタイミングは、ドライバ状態に応じて変更することができ、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには、正常状態のときよりも早くして安全性を高めることができる。
【０１８４】
この実施形態では、上記前方障害物レーダ１１、赤外線カメラ１２、磁気マーカセンサ１３、路車間通信ユニット１５、白線検出用ＣＣＤカメラ１６、各後側方障害物撮影用ＣＣＤカメラ２２、ＧＰＳセンサ２７が、車両Ｃ外部の情報を入手する情報入手手段を構成している。また、ドライビングディスプレイ３が、車両Ｃ内の所定位置（インストルメントパネル１の運転席前方部分）に設けられかつ上記情報入手手段により入手された情報を表示する表示手段を構成していると共に、ドライバモニタユニット６３が、上記情報が表示手段に表示されたときの車両Ｃのドライバの視線行動を検出する視線行動検出手段を構成している。さらに、ＣＰＵ２０内のドライバ状態判定部２０ａが、上記視線行動検出手段により検出されたドライバの視線行動に基づいて、該ドライバの状態を判定するドライバ状態判定手段を構成していると共に、ＣＰＵ２０が、このドライバ状態判定手段による判定結果に基づいて、上記情報の表示制御及び車両制御の少なくとも一方を行う制御手段を構成している。
【０１８５】
したがって、上記実施形態では、前方障害物レーダ１１や路車間通信ユニット１５等により入手された車両Ｃ外部情報をドライビングディスプレイ３の表示画面３ａに表示することでドライバの運転支援を行うと共に、その情報を表示したときのドライバの視線行動に基づいて、ドライバが覚醒低下・疲労・集中力低下の状態にあるか、又は正常状態にあるかというドライバの状態を判定し、この判定結果により次に情報を表示するときの表示タイミングや表示形態等を変えたり、警報や車両制御を行うタイミングを変えたりするので、ドライバ状態に応じた最適な表示制御や車両制御を行うことができ、ドライバが覚醒低下・疲労・集中力低下の状態にあるときには情報を早く表示することで、危険回避行動の遅れが生じることはなく、余裕をもって適切に対処することができ、安全性を向上させることができる。そして、情報を表示する毎にドライバ状態を検出するので、常に最新のドライバ状態が得られる。
【０１８６】
また、ドライバ状態の判定内容は、表示される情報の態様（文字数等）、車両Ｃの走行状態（操舵角の変動や車両Ｃ重心位置の変動等）、車両Ｃの走行環境（昼夜、気象条件、渋滞やカーブの有無等）、表示される情報に対するドライバの慣れ（同じ情報が継続して表示されることによる慣れやこの制御装置に対する慣れ等）に応じて変更されるので、ドライバの状態を精度良く判定することができる。
【０１８７】
【発明の効果】
以上説明したように、本発明の車両の制御装置によると、情報が表示手段に表示されたときのドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づいて、該ドライバの状態を判定し、この判定結果に基づいて情報表示制御や車両制御を行うとともに、上記表示手段に表示される情報が、緊急度に応じた情報量でもって表示されるものであり、上記表示手段に表示される情報の情報量に応じて、上記判定用閾値を変更するようにしたので、表示制御や車両制御がドライバの疲労状態等に応じた最適なものとなり、安全性の向上化を図ることができる。また、ドライバの状態を精度良く判定することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る制御装置が搭載された車両のインストルメントパネルの要部を示す正面図である。
【図２】 図１のII−II線断面図である。
【図３】 制御装置の各構成部品の車両での位置を示す斜視図である。
【図４】 制御装置の各構成部品の車両での位置を示す平面図である。
【図５】 スピーカの位置を示す概略平面図である。
【図６】 スピーカの位置を示す概略側面図である。
【図７】 制御装置の構成を示すブロック図である。
【図８】 ドライバモニタユニットの構成を示すブロック図である。
【図９】 ドライバモニタユニットにおけるドライバの視線行動の検出処理動作を示すフローチャートである。
【図１０】 ＣＰＵにおける基本的な制御処理動作をフローチャートである。
【図１１】 ドライバ状態判定の詳細な処理動作を示すフローチャートである。
【図１２】 ドライバ状態判定のための特性図である。
【図１３】 ドライバ状態判定のための特性図である。
【図１４】 ドライバ状態判定のための特性図である。
【図１５】 警報を発するための停留時間（基準時間）と車速との関係を示すグラフである。
【図１６】 表示される情報の情報量及び緊急度の程度を示す説明図である。
【図１７】 車両の走行状態を判定するための特性図である。
【図１８】 車両の走行状態を判定するための特性図である。
【図１９】 車両の走行状態を判定するための特性図である。
【図２０】 経路誘導システムの制御処理動作を示すフローチャートである。
【図２１】 ＩＣＣＷの制御処理動作を示すフローチャートである。
【図２２】 経路誘導システムとＩＣＣＷとが共存する場合における情報の表示制御を示すフローチャートである。
【図２３】 上視平面図モードのときの経路誘導表示の一例を示す説明図である。
【図２４】 鳥瞰図モードのときの経路誘導表示の一例を示す説明図である。
【図２５】 ＩＣＣＷにおける注意喚起表示の一例を示す説明図である。
【図２６】 ＩＣＣＷにおける操作特定時表示の一例を示す説明図である。
【図２７】 ＩＣＣＷにおける自動制御表示の一例を示す説明図である。
【図２８】 歩行者警報システムの制御処理動作を示すフローチャートである。
【図２９】 経路誘導システムと歩行者警報システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図３０】 歩行者警報システムにおける注意喚起表示の一例を示す説明図である。
【図３１】 歩行者警報システムにおける操作特定時表示の一例を示す説明図である。
【図３２】 歩行者警報システムにおける操作特定時表示の他の例を示す説明図である。
【図３３】 前方障害物情報通信システムの制御処理動作を示すフローチャートである。
【図３４】 経路誘導システムと前方障害物情報通信システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図３５】 前方障害物情報通信システムにおける注意喚起表示の一例を示す説明図である。
【図３６】 オールウェザービジョンシステムの制御処理動作を示すフローチャートである。
【図３７】 経路誘導システムとオールウェザービジョンシステムとが共存する場合における情報の表示制御を示すフローチャートである。
【図３８】 横断歩行者情報通信システムの制御処理動作を示すフローチャートである。
【図３９】 経路誘導システムと横断歩行者情報通信システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図４０】 横断歩行者情報通信システムにおいて経路誘導方向に歩行者が存在するときの注意喚起表示の一例を示す説明図である。
【図４１】 横断歩行者情報通信システムにおいて車両の現走行路の前方を横断する歩行者が存在するときの注意喚起表示の一例を示す説明図である。
【図４２】 対向車情報通信システムの制御処理動作を示すフローチャートである。
【図４３】 経路誘導システムと対向車情報通信システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図４４】 対向車情報通信システムにおける注意喚起表示の一例を示す説明図である。
【図４５】 第１の出会い頭車両情報通信システムの制御処理動作を示すフローチャートである。
【図４６】 経路誘導システムと第１の出会い頭車両情報通信システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図４７】 第１の出会い頭車両情報通信システムにおける注意喚起表示の一例を示す説明図である。
【図４８】 第１の出会い頭車両情報通信システムにおける操作特定時表示の一例を示す説明図である。
【図４９】 第２の出会い頭車両情報通信システムの制御処理動作を示すフローチャートである。
【図５０】 経路誘導システムと第２の出会い頭車両情報通信システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図５１】 第２の出会い頭車両情報通信システムにおける注意喚起表示の一例を示す説明図である。
【図５２】 第２の出会い頭車両情報通信システムにおける操作特定時表示の一例を示す説明図である。
【図５３】 カーブ情報通信システムの制御処理動作を示すフローチャートである。
【図５４】 経路誘導システムとカーブ情報通信システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図５５】 カーブ情報通信システムにおける注意喚起表示の一例を示す説明図である。
【図５６】 カーブ情報通信システムにおける操作特定時表示の一例を示す説明図である。
【図５７】 車線逸脱警報システムの制御処理動作を示すフローチャートである。
【図５８】 経路誘導システムと車線逸脱警報システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図５９】 車線逸脱警報システムにおける操作特定時表示の一例を示す説明図である。
【図６０】 車線逸脱警報システムにおける自動制御表示の一例を示す説明図である。
【図６１】 後側方警報システムの制御処理動作を示すフローチャートである。
【図６２】 経路誘導システムと後側方警報システムとが共存する場合における情報の表示制御を示すフローチャートである。
【図６３】 後側方警報システムにおける知覚機能拡大表示の一例を示す説明図である。
【図６４】 後側方警報システムにおける操作特定時表示の一例を示す説明図である。
【符号の説明】
Ｃ 車両
３ ドライビングディスプレイ（表示手段）
１１ 前方障害物レーダ（情報入手手段）
１２ 赤外線カメラ（情報入手手段）
１３ 磁気マーカセンサ（情報入手手段）
１５ 路車間通信ユニット（情報入手手段）
１６ 白線検出用ＣＣＤカメラ（情報入手手段）
２０ ＣＰＵ（制御手段）
２０ａ ドライバ状態判定部（ドライバ状態判定手段）
２２ 後側方障害物撮影用ＣＣＤカメラ（情報入手手段）
２７ ＧＰＳセンサ（情報入手手段）
６３ ドライバモニタユニット（視線行動検出手段）[0001]
BACKGROUND OF THE INVENTION
  The present invention belongs to a technical field related to a vehicle control apparatus that obtains information outside a vehicle and displays the information.
[0002]
[Prior art]
  Conventionally, for example, as disclosed in Japanese Patent Application Laid-Open No. 11-115660, when a scanning laser radar provided at the front end of a vehicle detects an obstacle such as a pedestrian, the information is displayed, As disclosed in Japanese Patent Laid-Open No. 10-123944, when traffic information transmitted from an information providing apparatus outside the vehicle is received, the information is displayed on a display means, for example, Japanese Patent Laid-Open No. 7-105477. As shown in the official gazette, when a pedestrian detection signal transmitted from a pedestrian detection device that detects a pedestrian crossing a crosswalk at an intersection is received, a pedestrian is displayed on a display unit installed inside the vehicle. It is known to display information. Displaying the information obtained in this way on the display means alerts the driver, and if it is determined that the risk of a collision or the like is high based on the information, vehicle control such as automatic braking or automatic steering is performed. Like to do.
[0003]
  On the other hand, for example, as disclosed in Japanese Patent Application Laid-Open No. 6-278495, when the driver's eyes are opened / closed, the dozing is detected, and when the driver's dozing is detected, the vibration means provided in the driver's seat is activated. It has been proposed to do so.
[0004]
[Problems to be solved by the invention]
  However, in the above-mentioned conventional example, even if information is displayed on the display means, the information content is recognized when the driver is tired and the concentration is reduced even if he / she is not asleep. It may be delayed to avoid danger due to longer time. As described above, when the driver is tired, it is difficult to prevent the delay of the risk avoidance action even if the driver's seat is vibrated as in the above proposed example (Japanese Patent Laid-Open No. 6-278495). is there.
[0005]
  The present invention has been made in view of such a point, and an object of the present invention is to display the obtained vehicle external information or perform vehicle control based on the information when the display control or the vehicle is performed. The purpose of the control is to optimize the driver according to the fatigue state of the driver and to allow the driver to appropriately deal with information when it is displayed.
[0006]
[Means for Solving the Problems]
  In order to achieve the above object, the present invention detects the driver's gaze behavior when information is displayed on the display means, and the driver's gaze behavior is detected.The magnitude of the parameter with respect to the threshold for judgmentBased on this, the state of the driver is determined, and information display control and vehicle control are performed based on the determination resultAt the same time, the information displayed on the display means is displayed with an information amount corresponding to the degree of urgency, and the determination threshold is changed according to the information amount of the information displayed on the display means.I did it.
[0007]
  Specifically, in the first aspect of the invention, as the vehicle control device, information obtaining means for obtaining information outside the vehicle and information obtained by the information obtaining means provided at a predetermined position in the vehicle are provided. Display means to be displayed, gaze behavior detection means for detecting gaze behavior of the driver of the vehicle when the information is displayed on the display means, and gaze behavior of the driver detected by the gaze behavior detection meansThe magnitude of the parameter with respect to the threshold for judgmentDriver state determination means for determining the state of the driver based on the control means, and control means for performing at least one of display control of the information and vehicle control based on the determination result by the driver state determination means.The information displayed on the display means is displayed with an information amount corresponding to the degree of urgency, and the driver state determination means is configured to display the information according to the information amount displayed on the display means. It is configured to change the threshold for judgmentShall.
[0008]
  With the above configuration, when the information is displayed on the display means, the driver sees the display on the display means several times. Therefore, the driver's fatigue state and the like are determined from the line-of-sight behavior such as the number of times and the total visual recognition time. If it is determined, for example, the information is displayed earlier than usual or the intervention degree of vehicle control is increased more than usual. As a result, optimal display control and vehicle control according to the driver's condition can be performed, and even if the driver is tired and delays in risk avoidance behavior are caused by displaying information quickly, , Can be dealt with properly with a margin.Since the number of times the driver sees the display and the viewing time differ depending on the amount of information (number of characters, etc.), the driver state can be accurately determined by changing the threshold value for determining the driver state according to the information amount. it can.
[0009]
  Claim2In the invention of claim 1, in the invention of claim 1, the driver state determination means is adapted to the traveling state of the vehicle.When it is determined whether or not the driver's driving burden is large, and it is determined that the driver's driving burden is large, the driver's state based on the determination threshold of the parameter related to the driver's gaze behavior It is determined that the driver is in a normal state without performing the determination ofIt shall be comprised as follows.
[0010]
  Claim3In the invention of claim 1, in the invention of claim 1, the driver state determination means is in accordance with the traveling environment of the vehicle.When it is determined whether or not the driver's driving burden is large, and it is determined that the driver's driving burden is large, the driver's state based on the determination threshold of the parameter related to the driver's gaze behavior It is determined that the driver is in a normal state without performing the determination ofIt shall be comprised as follows.
[0011]
  Claim4In the invention of claim 1, in the invention of claim 1, the driver state determination means is adapted for the information displayed on the display means.ThedriverButAccustomedIf it is determined whether the driver is accustomed, it is determined that the driver is in a normal state without determining the driver state based on the magnitude of the parameter relating to the driver's line-of-sight behavior with respect to the threshold for determination. judgeIt shall be comprised as follows.
[0012]
  These claims2~4According to the invention, the driving state of the vehicle (variation of the steering angle, fluctuation of the center of gravity position of the vehicle, etc.), the driving environment of the vehicle (day and night, weather conditions, presence or absence of traffic jams, curves, etc.) The driver's line-of-sight behavior changes depending on the display and the familiarity with this control device)It is difficult to accurately determine the state of the driver. For this reason, it is determined that the driver is in the normal state without determining the driver state based on the magnitude of the parameter relating to the gaze behavior of the driver with respect to the determination threshold..
[0013]
DETAILED DESCRIPTION OF THE INVENTION
  Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a main part of an instrument panel 1 of a vehicle C (automobile: see FIGS. 3 and 4) on which a control device according to an embodiment of the present invention is mounted. The instrument panel 1 includes an entertainment display. 2 and a driving display 3 on which various information outside the vehicle C is displayed as will be described later. The display screen 2a of the entertainment display 2 is disposed at a substantially central position in the up-down direction of the instrument panel 1 and in the vehicle width direction. On the other hand, the display screen 3a of the driving display 3 is disposed at the driver seat side end portion in the meter unit 4 which is provided in the upper part of the instrument panel 1 and at the substantially center position in the vehicle width direction. Accordingly, the display screen 3a of the driving display 3 is disposed obliquely above the driver's seat side with respect to the display screen 2a of the entertainment display 2, and is in front of the driver's seat and from the eye point of the driver of the vehicle C. Is also disposed below.
[0014]
  The meter unit 4 includes an indicator light such as a speedometer, a fuel gauge, a water temperature gauge, an odometer, a trip meter, a selector indicator light and a turn signal indicator light, and various warning lights such as an alternating tower light and an oil pressure warning light. Is provided.
[0015]
  As shown in FIG. 2, the meter unit 4 (driving display 3) is disposed at the vehicle front side end portion of the instrument panel 1, while the display screen 2 a of the entertainment display 2 is displayed on the driving display 3. It is arrange | positioned rather than the screen 3a at the vehicle rear side. Thus, the vertical viewing angle of the display screen 2a of the entertainment display 2, that is, the vertical angle of the line connecting the display screen 2a of the entertainment display 2 and the eye point of the driver of the vehicle C is set to about 22 degrees. The vertical viewing angle of the display screen 3a of the display 3 is set to about 11 degrees, and the visibility of the display screen 3a of the driving display 3 is better than the display screen 2a of the entertainment display 2.
[0016]
  In FIG. 1, 5 is an in-vehicle electronic device such as an audio device (not shown in FIG. 2), 6 is a steering wheel, 30 is a right front speaker described later, and 7 in FIG. Front window glass.
[0017]
  The display screen 3a of the driving display 3 includes a first display unit 8 that displays character information representing a cautionary object or a dangerous object related to the traveling of the vehicle C, and a second display unit that displays graphic information representing the traveling state of the vehicle C. 9 and a third display unit 10 for displaying a symbol mark m (see FIG. 25, etc.) relating to the display content. The first display unit 8 and the third display unit 10 are disposed above the second display unit 9, and the third display unit 10 is provided on the side opposite to the driver seat of the first display unit 8.
[0018]
  The column cover of the steering wheel 6 has an infrared projection lamp 61 that projects infrared light onto the head and face of the driver of the vehicle C, and infrared light projected from the infrared projection lamp 61. A driver imaging camera 62 that captures the reflected light from the head and face is provided. An infrared transmission filter is provided in the light projecting unit of the infrared light projecting lamp 61 and the light receiving unit of the driver imaging camera 62.
[0019]
  Here, each component, such as sensors and actuators, in this control apparatus will be described.
[0020]
  In FIG. 3, reference numeral 11 denotes a front obstacle radar 11 made of a laser radar, a millimeter wave radar, or the like that detects an obstacle existing in front of the vehicle C and measures the positional relationship and distance between the vehicle C and the obstacle. When the front obstacle radar 11 detects a pedestrian who is going to cross the road ahead of the vehicle C, a warning is given (pedestrian warning system), and drive control of the acceleration / deceleration means 52 described later is used. The vehicle travels in a state where the distance between the vehicle C and the vehicle ahead (the preceding vehicle) is kept constant, or travels at a constant speed when there is no vehicle ahead (auto with vehicle distance maintenance function). Cruise and collision warning system (ICCW (Intelligent Cruise Control & Collision Warning)).
[0021]
  Reference numeral 12 denotes an infrared camera that images the front of the vehicle C with infrared rays. When the infrared image captured by the infrared camera 12 is displayed on the display screen 3a of the driving display 3, the vehicle is traveling at night or in fog. Even so, the front view of the vehicle C can be confirmed well (all weather vision system).
[0022]
  Reference numeral 13 denotes a magnetic marker sensor that detects magnetism from a magnetic marker provided on the road so as to detect a predetermined traveling position, and 15 is transmitted from an information providing device (infrastructure) outside the vehicle C. A road-to-vehicle communication unit that receives information on road conditions in front of the traveling path of the vehicle C (information on accidents, falling objects on the road, traffic jams, etc.), and the road-to-vehicle communication unit 15 relates to road conditions outside the vehicle C. Information is obtained (information communication system).
[0023]
  Reference numeral 16 denotes a white line detection CCD camera for detecting a white line on the road. The image from the white line detection CCD camera 16 is subjected to image processing to detect the traveling position of the vehicle C with respect to the white line. A warning is given when the vehicle deviates from the driving lane across the white line (lane departure warning system). In this lane departure warning system, the lane departure may be detected using the magnetic marker sensor 13 instead of the white line detection CCD camera 16.
[0024]
  Reference numeral 17 denotes an electric throttle provided in the intake system of the engine, which is used for electrically accelerating / decelerating the vehicle C by electrically controlling the throttle valve. Reference numeral 18 denotes a brake unit, which is used to perform automatic braking as necessary when an obstacle is detected. Reference numeral 20 denotes a CPU that performs control to be described later.
[0025]
  In FIG. 4, reference numerals 22 and 22 denote rear side obstacle photographing CCD cameras (line CCD sensors) respectively disposed in left and right door mirrors 21 and 21 formed of half mirrors. The obstacle photographing CCD camera 22 captures an image of the rear side of the lane adjacent to the traveling lane of the vehicle C, and when the vehicle C changes the lane, an alarm is given when there is another vehicle behind the lane changing side. (Rear side alarm system).
[0026]
  Reference numeral 24 denotes a yaw rate sensor that detects the yaw rate generated in the vehicle C, reference numeral 25 denotes a steering angle sensor that detects the steering angle of the steering wheel 6, and reference numeral 26 denotes a vehicle speed sensor that detects the vehicle speed of the vehicle C. Yes, 27 is a GPS sensor that receives a GPS signal transmitted from a GPS artificial satellite and detects the current position of the vehicle C, 28 is a ROM that stores road map information, and the GPS sensor 27 Based on the detected current position of the vehicle C and the road map information stored in the ROM 28, route guidance to the destination is performed (route guidance system).
[0027]
  As shown in FIGS. 5 and 6, left and right front speakers 29 and 30 are provided at both ends in the vehicle width direction of the instrument panel 1, and left and right front door speakers 31 and 32 are respectively provided below the left and right front doors. Left and right rear tray speakers 33 and 34 are provided at both ends of the rear tray in the vehicle width direction. These six speakers 29 to 34 are used for alarm output and form a three-dimensional sound. In place of the speakers 29 to 34, an alarm device that generates an electronic sound, an electronic buzzer sound, or the like may be used.
[0028]
  As shown in FIG. 7, the GPS sensor 27 and the ROM 28 constitute a part of a navigation device 40. The navigation device 40 is a navigation main switch 36 for activating the device 40 (route guidance system). A map scroll switch 37 for scrolling the position of the map displayed on the display screen 2a of the entertainment display 2, a destination setting switch 38 used when setting the destination, and a road displayed on the display screen 2a A display mode changeover switch 39 for switching the display form of the map (the road map displayed on the display screen 3a of the driving display 3 at the time of route guidance) to the top view plan view or the bird's eye view mode is provided.
[0029]
  In FIG. 7, 43 is a light switch that is turned on when at least one of a headlight, a small light, and a fog lamp is lit, 44 is an auto-cruise main switch for starting the ICCW, and 45 is the above-mentioned An information communication main switch for starting the information communication system, 46 is an all-weather vision main switch for starting the all-weather vision system, and 47 is for starting the lane departure warning system. Lane departure warning main switch 48, 48 is a rear side warning main switch for starting the rear side warning system, and 49 is a pedestrian warning for starting the pedestrian warning system. Main switch. The information communication main switch 45, the all weather vision main switch 46, the lane departure warning main switch 47, the rear side warning main switch 48 and the pedestrian warning main switch 49 are not necessarily required. The system corresponding to each of the main switches 45 to 49 may be automatically activated simultaneously with the start of the engine (ignition switch ON).
[0030]
  The CPU 20 includes signals from the elements 27, 28, and 36 to 39 of the navigation device 40, the forward obstacle radar 11, the infrared camera 12, the magnetic marker sensor 13, the road-vehicle communication unit 15, and the white line detection CCD. Signals from the camera 16, rear side obstacle photographing CCD camera 22, yaw rate sensor 24, rudder angle sensor 25 and vehicle speed sensor 26, signals from the light switch 43 and the main switches 44 to 49, and a driver monitor unit 63 (the line-of-sight behavior data of the driver of the vehicle C) is input, and the CPU 20 operates according to a predetermined program based on each signal, and the entertainment display 2 and the driving display 3 , Acceleration / deceleration means 52, steering means 53, and each speaker 29 34 is adapted to control the drive. The acceleration / deceleration means 52 includes the electric throttle 17, the brake unit 18, and a transmission (not shown), and is configured to perform automatic acceleration / deceleration of the vehicle C by these. The vehicle C is automatically steered by performing control or braking force distribution control of the left and right wheels.
[0031]
  As shown in FIG. 8, the driver monitor unit 63 performs general binarization processing and feature point extraction processing in the image processing unit 63a based on the video signal output from the driver imaging camera 62. The driver's head face part image is extracted by the driver, and the gaze point detection unit 63b detects the driver's head face direction, gaze direction, and pupil diameter based on the extracted head face part image, and the gaze direction. Thus, the driver's gazing point is detected, and the detected driver's gazing point and the like are output to the driver state determination unit 20a in the CPU 20 as line-of-sight behavior data. In the driver state determination unit 20a, based on the driver's line-of-sight behavior data, as described later, the driver state of the vehicle C, that is, the driver is in a normal state, or is in a state of reduced arousal / fatigue / concentration. It is determined whether there is any.
[0032]
  The driver's gaze behavior detection processing operation in the driver monitor unit 63 is performed as shown in FIG. That is, in the first step SA1, infrared light is projected onto the driver's head / face by the infrared projector lamp 61, and the analog video signal of the head / face captured by the driver imaging camera 62 is sent to the image processor 63a. The image data is converted into digital multilevel image data for each pixel by performing general binarization processing on the video signal.
[0033]
  In the next step SA2, a driver's face image portion is extracted from the multi-valued image data using a general image processing method, and a plurality of feature points (for example, the eyes, the corners of the eyes, the eyes) are included in the extracted face image portion. Detect the position of the nostrils.
[0034]
  In the next step SA3, from the image data of the face image portion extracted in step SA2, the position of the reflection point and the position of the pupil generated in the cornea of the driver's eyeball by the projection of infrared light are generally determined. Detection using a simple image processing technique.
[0035]
  In the next step SA4, the gaze point detection unit 63b detects the maximum value of the number of pixels in the horizontal direction of the image data corresponding to the position of the pupil detected in step SA3 as the pupil diameter. Here, the horizontal direction is noticed because when the vertical direction is noticed, an accurate pupil diameter cannot be detected due to blinking.
[0036]
  In the next step SA5, the inclination of the driver's head and face in a predetermined three-dimensional coordinate space is calculated based on the position of the feature point detected in step SA2, and the driver's head and face are thus directed. Measure the direction (head face direction).
[0037]
  In the next step SA6, the direction of the driver's line of sight (gaze direction) is detected based on the corneal reflection point detected in step SA3 and the head-face direction detected in step SA5.
[0038]
  In the next step SA7, the gaze direction detected in step SA6 and the predetermined positions inside and outside the vehicle C stored in advance (front position, mounting position of the rearview mirror, mounting positions of the left and right door mirrors 21, 21 and the like) are stored. Based on this, the driver's gaze point is detected and the process returns.
[0039]
  Next, the basic control processing operation in the CPU 20 will be described with reference to the flowchart of FIG.
[0040]
  First, in the first step SB1, the information to be notified to the driver, the alarm to be output, and the vehicle control to be performed are selected based on the above signals input to the CPU 20, and in the next step SB2, the information display is performed. Determine if necessary.
[0041]
  When the determination is NO, the process proceeds to step SB5. When the determination is YES, the process proceeds to step SB3, and the driver state determination result stored in the previous step SB4 is read. Information is provided by changing the timing of display on the display screen 3a of the driving display 3. In step SB4, the driver state determination unit 20a determines and stores the driver state based on the driver's line-of-sight behavior at the time of providing information in step SB3, and then proceeds to step SB5. When this flow is executed for the first time, in step SB3, information is displayed on the display screen 3a of the driving display 3 by a predetermined standard method regardless of the driver state determination result.
[0042]
  In step SB5, it is determined whether alarm ON is necessary. When this determination is NO, the process proceeds to step SB7, while when the determination is YES, the process proceeds to step SB6, the driver state determination result stored in step SB4 is read, and an alarm is given according to the driver state, etc. Is changed to execute an alarm, and then the process proceeds to step SB7.
[0043]
  In step SB7, it is determined whether or not vehicle control such as automatic acceleration / deceleration control by the acceleration / deceleration means 52 or steering control by the steering means 53 is necessary. When this determination is NO, the process returns as it is, while when the determination is YES, the process proceeds to step SB8, the driver state determination result stored in step SB4 is read, and the degree of deceleration acceleration or the like is determined according to the driver state. Change to implement vehicle control, then return.
[0044]
  The detailed processing operation of the driver state determination (step SB4) in the driver state determination unit 20a is performed as shown in FIG. That is, in the first step SC1, the driver's gaze behavior data is taken in from the gaze point detection unit 63b of the driver monitor unit 63, and the information is displayed on the display screen 3a of the driving display 3 in step SB3 based on this gaze behavior data. Detects the driver's gaze behavior when displayed. Specifically, the total time (viewing time) that the driver has viewed the information displayed on the display screen 3a of the driving display 3, the time until the driver reacts to the information (reaction time), and the number of times the display has been viewed ( The number of times of viewing) and the time (stop time) during which each display is viewed are detected.
[0045]
  In the next step SC2, the running state of the vehicle C (vehicle speed, fluctuation amount of the steering angle, fluctuation amount of the center of gravity position of the vehicle C) is detected based on detection data from the yaw rate sensor 24, the steering angle sensor 25, the vehicle speed sensor 26, and the front obstacle radar 11. In the next step SC3, the travel environment (time zone) of the vehicle C is detected based on information from the road-to-vehicle communication unit 15, the GPS sensor 27, the ROM 28, and the like. , Weather, whether there is an accident or traffic jam ahead of the road, the shape of the road, such as a curve, the frequency of information provision or alarm intervention, etc.).
[0046]
  In the next step SC4, based on the traveling state and traveling environment of the vehicle C, it is determined whether or not the vehicle C is traveling in a traveling environment where the driving burden on the driver is large. When this determination is NO, the process proceeds to step SC5, where the driver's familiarity with information provision and warning intervention is determined based on the driver's gaze behavior detected at step SC1, and information provision is performed at the next step SC6. And determine if the driver is accustomed to alarm interventions. Specifically, when it is possible to determine from the driver's line-of-sight behavior that he / she is looking at a cautionary object or a dangerous object (front car, lane, etc.), information provision or warning occurs frequently or continues for a long time It is determined that the driver is accustomed to continuing the same information provision and warning, or to the control device itself.
[0047]
  If the determination in step SC6 is NO, the process proceeds to step SC7, and the driver's gaze behavior detected in step SC1 and the mode of information (information amount) displayed on the display screen 3a of the driving display 3 in step SB3. Based on (number of characters, etc.), urgency of information, etc.), the driver state is determined and the process returns.
[0048]
  Specifically, the determination of the driver state is performed using the maps shown in FIGS. That is, it is assumed that the normal state is set when the viewing time is equal to or less than the determination threshold value (the larger the amount of information is), and when the viewing time is longer than the determination threshold value, it is assumed that the awakening, fatigue, and concentration are reduced. In addition, when the reaction time is less than the determination threshold (decrease in steps as the urgency of information is higher), the normal state is assumed. When the reaction time is longer than the determination threshold, the state of arousal / fatigue / concentration is reduced. And Further, when the number of times of visual recognition is equal to or less than a determination threshold value (increase stepwise as the amount of information increases), the normal state is assumed. . Similarly, the driver state can be determined from the number of blinks and the eye closing time. The driver state is determined for each of the above parameters (viewing time, reaction time, etc.), and the number of parameters that are in a state of reduced arousal / fatigue / concentration is a predetermined number (for example, 1 or 2: total number of parameters) In the case where there is more than the predetermined number, it is finally determined that the driver is in a state of reduced arousal / fatigue / concentration, and in a case where it is less than a predetermined number, it is determined that the driver is in a normal state. The final determination result is stored as a driver state.
[0049]
  When the stop time is longer than a reference time (may be a constant value (for example, 1 second) as indicated by a solid line in FIG. 15 or may be decreased as the vehicle speed increases as indicated by a broken line). In such cases, an alarm for alerting is issued or the display is switched or interrupted.
[0050]
  The amount of information and the degree of urgency related to the information displayed on the display screen 3a of the driving display 3 in step SB3 have a relationship as shown in FIG. In other words, when the displayed information is merely information provision (in the case of a warning display described later), the amount of information is the largest, and in the case where an alarm is issued (along with a warning sound and displayed) (displayed when an operation is specified later). In the case of ()), the number is smaller than in the case of providing information, and the number is smallest when vehicle control is performed (the display to that effect is also performed) (in the case of automatic control display described later). Moreover, the urgency of the information received by the road-to-vehicle communication unit 15 is the lowest among mere information providing information, and the inter-vehicle distance information detected by the front obstacle radar 11 is higher than the received information. Become. Then, the degree of urgency is further increased when alarming is performed, and is highest when vehicle control is performed.
[0051]
  When the determination in step SC4 in FIG. 11 is YES and the driving burden on the driver is large, or when the determination in step SC6 is YES and the driver is accustomed to information provision or alarm intervention, step Proceeding to SC8, the driver returns assuming that it is in a normal state. In other words, even when the driver's gaze behavior detected in step SC1 is determined to be in a state of reduced alertness, fatigue, or reduced concentration, the driver's driving burden is heavy and the driver is concentrating on driving. Or, when the driver is accustomed to information provision and alarm intervention, it is difficult to accurately determine the driver state, and therefore it is assumed that the driver state is in a normal state without determining the driver state. When the driver's driving burden is heavy or when the driver is accustomed to information provision and alarm intervention, instead of determining that the driver state is normal, the above determination is made. The threshold value for use may be changed so as to be easily determined as being in a normal state.
[0052]
  The determination in step SC4 (determination as to whether or not the vehicle C is traveling in a traveling environment where the driving burden on the driver is large) is specifically performed as follows. That is, first, from the traveling state of the vehicle C, it is determined whether the driving load is large or the normal state using the maps shown in FIGS. That is, it is assumed that the normal state is set when the variation amount of the steering angle is equal to or less than the determination threshold value (decrease as the vehicle speed increases), and the driving load is large when the change amount is larger than the determination threshold value. Further, it is assumed that the normal state is set when the variation amount of the center of gravity position of the vehicle C is equal to or less than a determination threshold value (decrease as the vehicle speed increases), and the driving load is large when the change amount is larger than the determination threshold value. Further, it is assumed that the vehicle is in the normal state when the fluctuation amount of the inter-vehicle distance between the vehicle C and the preceding vehicle is equal to or less than a determination threshold value (the vehicle speed increases as the vehicle speed increases), and that the driving load is large when the vehicle C is greater than the determination threshold value. (However, change due to an interrupted vehicle is ignored).
[0053]
  Next, it is determined from the traveling environment of the vehicle C whether the driving load is large or the normal state. That is, at night or in a specific time zone (for example, from 18:00 to 7:00 on the next day (may be changed according to the season): time information included in the GPS signal received by the GPS sensor 27 or clock information in the CPU 20 is used. Detected), in bad weather such as rain, snow, fog, etc. (Acquire data from the Japan Meteorological Agency via the Road-to-Vehicle Communication Unit 15), when an accident / congestion occurs in front of the road, (Detected by signals from GPS sensor 27 and ROM 28), when turning right at intersection (detected by signals from GPS sensor 27, ROM 28 and blinker switch not shown), and entering small corner (detected by signals from GPS sensor 27 and ROM 28) , When entering a corner with high lateral acceleration (detected by signals from GPS sensor 27, ROM 28 and vehicle speed sensor 26), when driving in areas with frequent accidents (road-to-vehicle communication) All-weather vision system is activated when changing courses across lanes when traveling through a tunnel (detected by signals from GPS sensor 27, ROM 28, and light switch 43). If the fog lamp is lit, the wiper is activated, the frequency of information provision or warning is high, and it is determined that the risk is high, it is determined that the driving burden is high.
[0054]
  Then, it is determined whether or not the driving burden is large for each of the above parameters (running state parameters (variation amount of the steering angle, fluctuation amount of the center of gravity position of the vehicle C, etc.) and driving environment parameters (time zone, weather, etc.)). If there is at least one parameter determined to be in a heavy driving burden state, it is finally determined that the vehicle is traveling in a driving environment where the driving burden on the driver is large, and all parameters are in a normal state. When it is determined that the vehicle is in the driving environment, it is determined that the vehicle is not traveling in a traveling environment where the driving burden on the driver is large. It should be noted that the final determination may be made with different weights for the driving condition parameter and the driving environment parameter. For example, a value obtained by adding the number of driving state parameters determined to be in a large driving burden state and a value obtained by multiplying the number of driving environment parameters determined to be in a large driving burden state by 0.5. If it is equal to or greater than the set value, it may be determined that the vehicle is traveling in a traveling environment where the driving burden on the driver is large.
[0055]
  Next, an individual processing operation of each system in the CPU 20 will be described.
[0056]
  FIG. 20 shows the control processing operation of the route guidance system, and this processing operation starts when the navigation main switch 36 of the navigation device 40 is ON.
[0057]
  First, in the first step SD1, the map and the current position are displayed on the display screen 2a of the entertainment display 2 based on the current position information from the GPS sensor 27 and the road map information stored in the ROM 28. As will be described later, the driving display 3 is driven when route guidance is required.
[0058]
  In the next step SD2, it is determined whether or not the destination setting switch 38 is ON (whether or not the destination setting has been completed). If this determination is NO, the process proceeds to step SD3 and a route guidance flag is set. While returning with Fa set to 0, if the determination is yes, the process proceeds to step SD4.
[0059]
  In step SD4, it is determined whether or not the vehicle C is traveling in the route display area. Specifically, it is determined whether or not the current position of the vehicle C is within a circle with a predetermined radius centered on an intersection where a route needs to be displayed. This predetermined radius is changed according to the driver state, and is set larger than that in the normal state when the driver is in a state of reduced arousal, fatigue, or reduced concentration (the information intervention timing is earlier as will be described later). Become).
[0060]
  If the determination in step SD4 is NO, the process proceeds to step SD3. If the determination is YES, the process proceeds to step SD5, the route guidance flag Fa is set to 1, and the process returns. Therefore, the route guidance flag Fa is set to 1 only when route guidance is necessary.
[0061]
  FIG. 21 shows the ICCW control processing operation, which starts when the auto-cruise main switch 44 is ON.
[0062]
  First, detection data from the front obstacle radar 11, the yaw rate sensor 24, the rudder angle sensor 25, and the vehicle speed sensor 26 are input in the first step SE1, and in the next step SE2, the yaw rate sensor 24, rudder angle sensor 25, and Based on the detection data from the vehicle speed sensor 26, the traveling path of the vehicle C (when the vehicle C is going to make a curve, the traveling path of the curve) is calculated (for details, refer to Japanese Patent Laid-Open No. 7-220119). .
[0063]
  In the next step SE3, based on the detection data from the forward obstacle radar 11, it is determined whether there is an obstacle within a first predetermined distance from the vehicle C in the traveling path. This first predetermined distance is changed in accordance with the driver state, and is set larger than that in the normal state when the driver is in a state of reduced arousal, fatigue, or reduced concentration (intermediate information provision as described later). Timing is earlier).
[0064]
  When the determination in step SE3 is NO, the process proceeds to step SE4, and the vehicle speed of the vehicle C becomes a preset vehicle speed (or may be set by the driver) in response to the absence of an obstacle ahead. Thus, the drive control of the acceleration / deceleration means 52 is performed (auto cruise), and in the next step SE5, the information provision flag Fc1, the primary alarm flag Fc2, and the secondary alarm flag Fc3 indicating that there is an obstacle ahead are set. Reset all to zero and return.
[0065]
  On the other hand, when the determination in step SE3 is YES, the process proceeds to step SE6 to determine whether or not there was an obstacle before (newly detected obstacle), and when this determination is NO, On the other hand, if the determination is YES in step SE8, the process proceeds to step SE7 where the information provision flag Fc1 is set to 1 and the left and right front speakers 29, 30 are driven to output a single artificial sound. That is, when a new obstacle is detected, this is notified to the driver by sound, and the information provision timing by this sound is changed in accordance with the change of the first predetermined distance depending on the driver state. Note that the volume of sound may be changed according to the driver state. When the driver is in a normal state, information is not provided by sound (information is provided by display as described later), and arousal decreases. -Information may be provided by sound (both sound and display or only sound) only when the user is in a state of fatigue or reduced concentration. Also, when the driver is in a state of reduced arousal, fatigue, or reduced concentration, not only providing information but also performing vehicle control (brake control and steering control) to return the driver to awakening, and display a prompt to take a break It may be switched (the same applies to a pedestrian warning system described later).
[0066]
  In step SE8 after step SE7, it is determined whether or not the distance L between the vehicle C and the obstacle is smaller than a first reference value L1 (smaller than the first predetermined distance). Similarly to the first predetermined distance, the first reference value L1 is also changed according to the driver state, and is set larger than that in the normal state when the driver is in a state of reduced alertness, fatigue, or reduced concentration. The
[0067]
  When the determination in step SE8 is NO, the process proceeds to step SE9, where both the primary alarm flag Fc2 and the secondary alarm flag Fc3 are reset to 0. Thereafter, in step SE10, the vehicle C and the obstacle (the vehicle ahead) are reset. ) And drive control of the acceleration / deceleration means 52 (inter-vehicle distance maintaining travel) so that the distance L to the predetermined distance (which may be set by the driver) is returned.
[0068]
  On the other hand, when the determination in step SE8 is YES, the process proceeds to step SE11 to determine whether or not the distance L between the vehicle C and the obstacle is smaller than the second reference value L2 (L2 <L1). Similarly to the first reference value L1, the second reference value L2 is changed according to the driver state, and is set larger than that in the normal state when the driver is in a state of reduced alertness, fatigue, or reduced concentration. Is done.
[0069]
  When the determination in step SE11 is NO (L2 ≦ L <L1), the process proceeds to step SE12, the primary alarm flag Fc2 is set to 1, and the left and right front speakers 29, 30 are driven to generate a pseudo sound (horn sound). ) Is output. Also at this time, the volume of sound may be changed according to the driver state.
[0070]
  In step SE13, both the information provision flag Fc1 and the secondary warning flag Fc3 are reset to 0. After that, in step SE14, the distance L between the vehicle C and the obstacle (the preceding vehicle) is the same as in step SE10. The drive control of the acceleration / deceleration means 52 (inter-vehicle distance holding travel) is performed so that the distance is set in advance (the driver may set it), and the process returns.
[0071]
  On the other hand, when the determination in step SE11 is YES, the process proceeds to step SE15, the secondary alarm flag Fc3 is set to 1, and the left and right front speakers 29, 30 are driven to output continuous artificial sounds. Also at this time, the volume of sound may be changed according to the driver state.
[0072]
  In step SE16, both the information provision flag Fc1 and the primary warning flag Fc2 are reset to 0. Thereafter, in step SE17, the distance L between the vehicle C and the obstacle is set in advance (set by the driver). The brake unit 18 of the acceleration / deceleration means 52 is actuated (automatic braking) and the process returns. Note that when the driver is in a state of reduced arousal, fatigue, or reduced concentration, the degree of deceleration may be made larger than in the normal state.
[0073]
  FIG. 22 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the ICCW coexist. In this case, priority is given to the information display regarding the ICCW.
[0074]
  That is, in the first step SE21, it is determined whether any one of the information provision flag Fc1, the primary alarm flag Fc2, and the secondary alarm flag Fc3 is 1, and this determination is NO (Fc1 = 0 and Fc2 = If 0 and Fc3 = 0), the process proceeds to step SE22 to determine whether or not the route guidance flag Fa is 1.
[0075]
  When the determination in step SE22 is NO, the process proceeds to step SE23, the display of the display screen 3a of the driving display 3 is turned off and the process returns. On the other hand, when the determination in step SE22 is YES, the process proceeds to step SE24. The route guidance display according to the display mode (upper plan view or bird's eye view) by the display mode changeover switch 39 is executed, and the process returns. That is, when the display mode is the top plan view mode, the route guidance display is executed in the form shown in FIG. 23 on the display screen 3a of the driving display 3, and when the display mode is the bird's eye view mode, the display screen 3a The route guidance display is executed in the form as shown in FIG. In FIG. 23 and FIG. 24, α is a mark (referred to as a vehicle mark α) indicating the vehicle C (vehicle) displayed on the display screen 3a.
[0076]
  On the other hand, when the determination in step SE21 is YES, the process proceeds to step SE25 to determine whether or not the information provision flag Fc1 is 1. When the determination in step SE25 is YES, the process proceeds to step SE26, a warning display as shown in FIG. 25 is executed on the display screen 3a of the driving display 3, and the process returns. That is, the character information indicating the attention object is displayed on the first display unit 8 of the display screen 3a, the graphic information indicating the front situation is displayed on the second display unit 9, and the display content is displayed on the third display unit 10. The symbol mark m for is displayed. In FIG. 25, β is a mark (referred to as other vehicle mark β) indicating another vehicle (here, the preceding vehicle).
[0077]
  Therefore, when a new obstacle is detected, a single artificial sound is output as described above, and the information is displayed on the display screen 3a to alert the driver. However, the display is continued as long as the obstacle exists within the first predetermined distance in the traveling path of the vehicle C). The timing of providing information by this display is changed according to the driver state as described above (when the driver is in a state of reduced alertness, fatigue, or reduced concentration, it is earlier than in the normal state). In addition, the display form (size, color, etc.) may be changed according to the driver state. When the driver is in a state of reduced arousal, fatigue, or reduced concentration, a frame may be added to the character or the display may blink. And may be emphasized.
[0078]
  When the determination in step SE25 is NO, the process proceeds to step SE27, in which it is determined whether or not the primary alarm flag Fc2 is 1. When this determination is YES, the process proceeds to step SE28, and the operation specific time display as shown in FIG. 26 is executed on the display screen 3a, and the process returns. That is, when the distance L between the vehicle C and the obstacle is greater than or equal to the second reference value L2 and smaller than the first reference value L1, horn sound is output and “brake” is displayed on the first display unit 8 of the display screen 3a. Display and prompt the driver to operate the brake.
[0079]
  On the other hand, if the determination in step SE27 is NO (Fc3 = 1), the process proceeds to step SE29, where the automatic control display as shown in FIG. 27 is executed on the display screen 3a, and the process returns. That is, when the distance L between the vehicle C and the obstacle is smaller than the second reference value L2, the display screen 3a displays that automatic braking is being performed.
[0080]
  With the above control operation, the inter-vehicle distance information is provided as the driver's decision support information. When the risk of collision is high, an alarm is given to the driver, and automatic braking is performed when the driver does not take appropriate avoidance action. Can avoid collisions. The timing for providing the information, warning, and automatic braking is changed according to the driver state, and is earlier than that in the normal state when the driver is in the state of reduced arousal, fatigue, or reduced concentration.
[0081]
  FIG. 28 shows the control processing operation of the pedestrian warning system, which starts when the pedestrian warning main switch 49 is turned on. It should be noted that when the auto cruise main switch 44 is turned on instead of the pedestrian warning main switch 49, it may be started simultaneously with the control processing operation of the ICCW, and as described above, it may be started simultaneously with the ignition switch ON. Also good.
[0082]
  First, detection data from the front obstacle radar 11, the yaw rate sensor 24, the rudder angle sensor 25 and the vehicle speed sensor 26 are input in the first step SF1, and in the next step SF2, the yaw rate sensor 24, rudder angle sensor 25 and Based on the detection data from the vehicle speed sensor 26, the traveling path of the vehicle C is calculated (for details, refer to Japanese Patent Laid-Open No. 10-1000082).
[0083]
  In the next step SF3, based on the detection data from the forward obstacle radar 11, it is determined whether or not there is a crossing pedestrian within a second predetermined distance from the vehicle C in the traveling path. The determination of this crossing pedestrian is performed based on whether or not the speed at which the detected obstacle moves in the direction perpendicular to the traveling path is within the range of the moving speed of the person (for details, refer to Japanese Patent Laid-Open No. 10-1000082). ). The second predetermined distance is changed according to the driver state in the same manner as the control process of the ICCW, and is set larger than that in the normal state when the driver is in a state of reduced arousal / fatigue / concentration. (Intervention timing of information provision is accelerated).
[0084]
  When the determination is NO, the process proceeds to step SF4, and both the information provision flag Fd1 and the alarm flag Fd2 indicating that there is a crossing pedestrian are reset to 0 and the process returns.
[0085]
  On the other hand, when the determination is YES, the process proceeds to step SF5 to determine whether or not there was a crossing pedestrian in the previous time (whether a new crossing pedestrian was newly detected), and when this determination is NO, While the process proceeds to SF7, if the determination is YES, the process proceeds to step SF6, the information providing flag Fd1 is set to 1, and the left and right front speakers 29, 30 are driven to output a single artificial sound. That is, when a pedestrian is newly detected, this is notified to the driver, and the information provision timing by this sound is changed with the change of the second predetermined distance depending on the driver state.
[0086]
  In step SF7 after step SF6, it is determined whether or not the distance D between the vehicle C and the crossing pedestrian is smaller than a first predetermined value D1 (smaller than the second predetermined distance). Similarly to the second predetermined distance, the first predetermined value D1 is also changed according to the driver state, and is set larger than that in the normal state when the driver is in a state of reduced arousal / fatigue / concentration. The
[0087]
  When the determination in step SF7 is NO, the process proceeds to step SF8, the alarm flag Fd2 is reset to 0 and the process returns. On the other hand, when the determination is YES, the process proceeds to step SF9 and the alarm flag Fd2 is set to 1. At the same time, the left and right front speakers 29 and 30 are driven to output a pseudo sound (horn sound). In step SF10, the information provision flag Fd1 is reset to 0 and the process returns.
[0088]
  FIG. 29 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the pedestrian warning system coexist. In this case, priority is given to the information display regarding the pedestrian warning system.
[0089]
  That is, in the first step SF21, it is determined whether or not one of the information providing flag Fd1 and the alarm flag Fd2 is 1. When this determination is NO (Fd1 = 0 and Fd2 = 0), the process proceeds to step SF22. Then, it is determined whether or not the route guidance flag Fa is 1.
[0090]
  When the determination of step SF22 is NO, the process proceeds to step SF23, and the display of the display screen 3a of the driving display 3 is turned off and the process returns. On the other hand, when the determination of step SF22 is YES, the process proceeds to step SF24. As in step SE24, the route guidance display corresponding to the display mode is executed and the process returns.
[0091]
  On the other hand, when the determination in step SF21 is YES, the process proceeds to step SF25 to determine whether or not the information provision flag Fd1 is 1. When the determination in step SF25 is YES, the process proceeds to step SF26, a warning display as shown in FIG. 30 is executed on the display screen 3a of the driving display 3, and the process returns. In FIG. 30, h is a pedestrian figure.
[0092]
  Therefore, when a pedestrian is newly detected, a single artificial sound is output as described above, and the information is displayed on the display screen 3a to alert the driver. However, the display is continued as long as the pedestrian is present within the second predetermined distance in the traveling path of the vehicle C). The timing of providing information by this display is changed according to the driver state as described above (when the driver is in a state of reduced alertness, fatigue, or reduced concentration, it is earlier than in the normal state).
[0093]
  When the determination in step SF25 is NO (Fd2 = 1), the process proceeds to step SF27, the operation specific time display as shown in FIG. 31 is executed on the display screen 3a, and the process returns. That is, when the distance L between the vehicle C and the obstacle is smaller than the first predetermined value D1, a horn sound is output, and “brake” is displayed on the first display portion 8 of the display screen 3a, and the driver is braked. Encourage operation. Instead of the display contents of FIG. 31, as shown in FIG. 32, the vehicle mark α may be displayed on the second display portion 9 of the display screen 3a.
[0094]
  By the above control operation, the pedestrian information obtained by the front obstacle radar 11 is provided to the driver, and a warning can be given to the driver when the risk of collision is high. The timing of providing the information and warning is changed according to the driver state, and is earlier than that in the normal state when the driver is in a state of reduced arousal, fatigue, or reduced concentration.
[0095]
  FIG. 33 shows the control processing operation of the forward obstacle information communication system, which starts when the information communication main switch 45 is turned on. As described above, it may be started simultaneously with the ignition switch being turned on.
[0096]
  First, in the first step SG1, information on obstacles (accidents, falling objects on the road, traffic jam information, etc.) on the road ahead of the vehicle C is input from the road-vehicle communication unit 15, and in the next step SG2, the road ahead It is determined whether or not there is an obstacle.
[0097]
  When the determination is NO, the process proceeds to step SG3, the information providing flag Fe1 indicating that an obstacle is present is reset to 0, and the process returns. On the other hand, when the determination is YES, the information providing flag Fe1 is set to 1. And the left and right front speakers 29 and 30 are driven to output a single artificial sound and return. The output timing and magnitude of this sound can be changed according to the driver state.
[0098]
  FIG. 34 shows the display control of information on the display screen 3a of the driving display 3 when the route guidance system and the forward obstacle information communication system coexist. In this case, priority is given to the information display regarding route guidance. This is information in which the front obstacle information exists considerably ahead (for example, 100 m ahead of the vehicle C), and the vehicle C is at an intersection before the point where the obstacle exists (for example, 50 m ahead of the vehicle C). This is because there is a case of turning right or left.
[0099]
  That is, in the first step SG21, it is determined whether or not the route guidance flag Fa is 1. When this determination is YES, the process proceeds to step SG22, the route guidance display according to the display mode is executed, and the process returns.
[0100]
  On the other hand, when the determination in step SG21 is NO, the process proceeds to step SG23 to determine whether or not the information provision flag Fe1 is 1. When the determination in step SG23 is YES, the process proceeds to step SG24, and a warning display as shown in FIG. 35 (in the case of traffic jam information) is executed on the display screen 3a of the driving display 3, and the process returns. When the determination of SG23 is NO, the process proceeds to step SG25, the display screen 3a of the driving display 3 is turned off, and the process returns.
[0101]
  With the above control operation, the information about the obstacle on the forward traveling road obtained by the road-vehicle communication unit 15 can be provided to the driver. The timing of information provision and the display mode can be changed according to the driver status, and when the driver is in a state of reduced arousal, fatigue, or reduced concentration, it can be faster than in a normal state. You can make the characters larger.
[0102]
  FIG. 36 shows the control processing operation of the all-weather vision system. This processing operation starts when the all-weather vision main switch 46 is turned on. As described above, it may be started simultaneously with the ignition switch being turned on.
[0103]
  First, in the first step SH1, it is determined whether or not the light switch is ON. If this determination is NO, the process proceeds to step SH2, and the information provision flag Ff1 indicating that the light switch 45 is ON is set to 0. On the other hand, if the determination is YES, the process proceeds to step SH3 where the information provision flag Ff1 is set to 1 and the process returns.
[0104]
  FIG. 37 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the all-weather vision system coexist. In this case, priority is given to the information display regarding the all-weather vision system.
[0105]
  That is, in the first step SH21, it is determined whether or not the information provision flag Ff1 is 1. That is, it is determined whether or not the light switch 43 is turned on at night or when foggy fog is difficult to see with the naked eye of the driver. When this determination is NO, the process proceeds to step SH22 to determine whether or not the route guidance flag Fa is 1.
[0106]
  When the determination in step SH22 is NO, the process proceeds to step SH23, and the display on the display screen 3a of the driving display 3 is turned off and the process returns. On the other hand, when the determination in step SH22 is YES, the process proceeds to step SH24. The route guidance display corresponding to the display mode is executed and the process returns.
[0107]
  On the other hand, when the determination in step SH21 is YES, the process proceeds to step SH25 to execute the perceptual function enlarged display and return. That is, the infrared image captured by the infrared camera 12 is displayed on the display screen 3 a of the driving display 3.
[0108]
  With the above control operation, it is possible to provide an image of a forward traveling scene visualized by using the infrared camera 12 in a bad environment (at night, at the time of fog generation, during rainfall, etc.) as information for assisting driver recognition.
[0109]
  FIG. 38 shows the control processing operation of the crossing pedestrian information communication system, and this processing operation starts when the information communication main switch 45 is turned on, as in the front obstacle information communication system. As described above, it may be started simultaneously with the ignition switch being turned on.
[0110]
  First, in the first step SI1, the presence information of the pedestrian on the pedestrian crossing at the front intersection of the vehicle C is input from the road-vehicle communication unit 15, and in the next step SI2, the pedestrian is placed on the pedestrian crossing at the front intersection. Determine if it exists.
[0111]
  When the determination is NO, the process proceeds to step SI3, the information providing flag Fg1 indicating that a pedestrian is present is reset to 0, and the process returns. On the other hand, when the determination is YES, the process proceeds to step SI4. The information providing flag Fg1 is set to 1, and the left and right front speakers 29, 30 are driven to output a single artificial sound and return. The output timing and magnitude of this sound can be changed according to the driver state.
[0112]
  FIG. 39 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the crossing pedestrian information communication system coexist. In this case, information display regarding the crossing pedestrian information communication system is displayed. Prioritize.
[0113]
  That is, in the first step SI21, it is determined whether or not the information provision flag Fg1 is 1. When this determination is NO, the process proceeds to step SI22, and it is determined whether or not the route guidance flag Fa is 1. judge.
[0114]
  When the determination in step SI22 is NO, the process proceeds to step SI23, and the display on the display screen 3a of the driving display 3 is turned OFF and the process returns. On the other hand, when the determination in step SI22 is YES, the process proceeds to step SI24. The route guidance display corresponding to the display mode is executed and the process returns.
[0115]
  On the other hand, when the determination in step SI21 is YES, the process proceeds to step SI25 to determine whether or not the route guidance flag Fa is 1. When the determination in step SI25 is YES, the process proceeds to step SI26 to determine whether or not a pedestrian is present in the route guidance direction.
[0116]
  When the determination in step SI26 is YES, the process proceeds to step SI27, and a warning display (route guidance display is also performed on the display screen 3a of the driving display 3 as shown in FIG. 40 (when turning right by route guidance). ) And return, on the other hand, if the determination in step SI26 is NO, the process proceeds to step SI24, and only the route guidance display is performed without displaying the pedestrian.
[0117]
  When the determination in step SI25 is NO, the process proceeds to step SI28, in which it is determined whether or not the pedestrian existing at the intersection is a pedestrian crossing the front of the current traveling path of the vehicle C. When the determination in step SI28 is YES, the process proceeds to step SI29, the warning display as shown in FIG. 41 is executed on the display screen 3a of the driving display 3, and the process returns, while the determination in step SI28 is NO. If so, the process proceeds to step SI30, and similarly to step SI23, the display on the display screen 3a of the driving display 3 is turned off and the process returns.
[0118]
  By the above control operation, the information about the pedestrian on the pedestrian crossing of the front intersection obtained by the road-to-vehicle communication unit 15 can be provided to the driver. And the information provision according to a driver state can be performed by changing the timing and display form of the information provision according to a driver state.
[0119]
  FIG. 42 shows the control processing operation of the oncoming vehicle information communication system, and this processing operation also starts when the information communication main switch 45 is turned on. As described above, it may be started simultaneously with the ignition switch being turned on.
[0120]
  First, in the first step SJ1, the oncoming vehicle existence information (including information such as the speed of the oncoming vehicle and the distance from the vehicle C to the oncoming vehicle) is input from the road-to-vehicle communication unit 15 near the front intersection of the vehicle C. In the next step SJ2, it is determined whether an oncoming vehicle exists near the front intersection (for example, within 50 m from the intersection).
[0121]
  When the determination is NO, the process proceeds to step SJ3, the information providing flag Fh1 indicating that an oncoming vehicle is present is reset to 0, and the process returns. On the other hand, when the determination is YES, the process proceeds to step SJ4. The information providing flag Fh1 is set to 1, and the left and right front speakers 29, 30 are driven to output a single artificial sound and return. The output timing and magnitude of this sound can be changed according to the driver state.
[0122]
  FIG. 43 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the oncoming vehicle information communication system coexist. In this case, priority is given to the information display regarding route guidance.
[0123]
  That is, in the first step SJ21, it is determined whether or not the route guidance flag Fa is 1. When this determination is NO, the process proceeds to step SJ22, the display screen 3a of the driving display 3 is turned off, and the process returns.
[0124]
  On the other hand, when the determination in step SJ21 is YES, the process proceeds to step SJ23 to determine whether or not the information provision flag Fh1 is 1. When the determination in step SJ23 is YES, the process proceeds to step SJ24, and a warning display as shown in FIG. 44 is executed on the display screen 3a of the driving display 3, and the process returns. That is, when making a right turn by route guidance, the driver is alerted that a straight vehicle is present. On the other hand, when the determination in step SJ23 is NO, the process proceeds to step SJ25, where the route guidance display corresponding to the display mode is executed and the process returns.
[0125]
  With the above control operation, it is possible to provide the driver with the information about the oncoming vehicle in the vicinity of the front intersection obtained by the road-to-vehicle communication unit 15 and assist the right turn determination. And the information provision according to a driver state can be performed by changing the timing and display form of the information provision according to a driver state.
[0126]
  FIG. 45 shows the control processing operation of the first encounter vehicle information communication system, and this processing operation also starts when the information communication main switch 45 is turned on. As described above, it may be started simultaneously with the ignition switch being turned on.
[0127]
  First, in the first step SK1, the presence information of the temporary stop intersection on the road ahead of the vehicle C is inputted from the road-to-vehicle communication unit 15, and in the next step SK2, the vehicle is temporarily stopped within the first reference distance in front of the vehicle C. It is determined whether or not an intersection exists. The first reference distance is changed according to the driver state, and is set larger than that in the normal state (for example, 50 m) when the driver is in a state of reduced arousal / fatigue / concentration.
[0128]
  When the determination is NO, the process proceeds to step SK3, and both the information provision flag Fj1 and the alarm flag Fj2 indicating that there is a temporary stop intersection are reset to 0, and the process returns. When the determination is YES, the process proceeds to step SK3. Proceeding to SK4, it is determined whether or not the distance Da from the vehicle C to the temporary stop intersection is smaller than the second predetermined value D2. The second predetermined value D2 is changed according to the driver state, and is set larger than that in the normal state (for example, 15 m) when the driver is in a state of reduced arousal, fatigue, or reduced concentration.
[0129]
  When the determination in step SK4 is NO, the process proceeds to step SK5, the information providing flag Fj1 is set to 1, and the left and right front speakers 29, 30 are driven to output a single artificial sound. In step SK6, the alarm flag Fj2 is reset to 0 and the process returns.
[0130]
  On the other hand, when the determination in step SK4 is YES, the process proceeds to step SK7, the alarm flag Fj2 is set to 1, and the left and right front speakers 29, 30 are driven to output continuous artificial sounds. In step SK8, the information provision flag Fj1 is reset to 0 and the process returns.
[0131]
  FIG. 46 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the first encounter vehicle information communication system coexist. In this case, the first encounter vehicle information communication system is shown. Give priority to information display.
[0132]
  That is, in the first step SK21, it is determined whether one of the information providing flag Fj1 and the alarm flag Fj2 is 1, and if this determination is NO (Fj1 = 0 and Fj2 = 0), the process proceeds to step SK22. Then, it is determined whether or not the route guidance flag Fa is 1.
[0133]
  When the determination at step SK22 is NO, the process proceeds to step SK23, the display of the display screen 3a of the driving display 3 is turned off and the process returns. When the determination at step SK22 is YES, the process proceeds to step SK24. The route guidance display corresponding to the display mode is executed and the process returns.
[0134]
  On the other hand, when the determination at step SK21 is YES, the process proceeds to step SK25 to determine whether or not the information provision flag Fj1 is 1. When the determination in step SK25 is YES, the process proceeds to step SK26, and a warning display as shown in FIG. 47 is executed on the display screen 3a of the driving display 3, and the process returns. At this time, on the second display unit 9 of the display screen 3a, graphic information indicating the traveling state of the vehicle C, numerical information regarding the degree of urgency (numerical value indicating the distance Da to the temporary stop intersection (40 m in FIG. 47)), and This numerical information is displayed on the side closer to the driver than the graphic information (on the right side in the case of a right-hand drive vehicle).
[0135]
  If the determination in step SK25 is NO (Fj2 = 1), the process proceeds to step SK27, where the operation specific time display as shown in FIG. 48 is executed on the display screen 3a, and the process returns. That is, when the distance Da from the vehicle C to the temporary stop intersection is smaller than the second predetermined value D2, “decelerate stop” is displayed on the first display portion 8 of the display screen 3a to prompt the driver to decelerate and stop. Also at this time, graphic information representing the traveling state of the vehicle C and numerical information (10 m in FIG. 48) relating to the degree of urgency are displayed on the second display unit 9. This numerical information is closer to the driver than the graphic information. Displayed on the side.
[0136]
  With the above control operation, the temporary stop intersection information obtained by the road-to-vehicle communication unit 15 is provided to the driver, and an alarm can be given to the driver when approaching the temporary stop intersection. The timing of providing the information and warning is changed according to the driver state, and is earlier than that in the normal state when the driver is in a state of reduced arousal, fatigue, or reduced concentration.
[0137]
  FIG. 49 shows the control processing operation of the second encounter vehicle information communication system, and this processing operation also starts when the information communication main switch 45 is turned on. As described above, it may be started simultaneously with the ignition switch being turned on.
[0138]
  First, in the first step SL1, the presence information of the approaching vehicle on the priority road side (including information such as the speed and position of the approaching vehicle) is input from the road-to-vehicle communication unit 15 at the temporary stop intersection of the road ahead of the vehicle C. Then, in the next step SL2, it is determined whether there is an approaching vehicle from the priority road side within the second reference distance with respect to the vehicle C temporarily stopped at the temporary stop intersection. The second reference distance is changed according to the driver state, and is set larger than that in the normal state (for example, 50 m) when the driver is in a state of reduced arousal, fatigue, or concentration.
[0139]
  When the above determination is NO, the process proceeds to step SL3, and both the information providing flag Fk1 and the warning flag Fk2 indicating that there is an approaching vehicle from the priority road side are reset to 0 and the process returns, while the determination is YES. When there is, the routine proceeds to step SL4, where it is determined whether or not the distance Db from the vehicle C to the approaching vehicle on the priority road side is smaller than the third predetermined value D3. The third predetermined value D3 is changed according to the driver state, and is set larger than that in the normal state (for example, 15 m) when the driver is in a state of reduced arousal, fatigue, or reduced concentration.
[0140]
  When the determination in step SL4 is NO, the process proceeds to step SL5, the information providing flag Fk1 is set to 1, and the left and right front speakers 29, 30 are driven to output a single artificial sound. In step SL6, the alarm flag Fk2 is reset to 0 and the process returns.
[0141]
  On the other hand, when the determination in step SL4 is YES, the process proceeds to step SL7, the alarm flag Fk2 is set to 1, and the left and right front speakers 29, 30 are driven to output continuous artificial sounds. In step SL8, the information provision flag Fk1 is reset to 0 and the process returns.
[0142]
  FIG. 50 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the second encounter vehicle information communication system coexist. In this case, the second encounter vehicle information communication system is shown. Give priority to information display.
[0143]
  That is, in the first step SL21, it is determined whether one of the information provision flag Fk1 and the alarm flag Fk2 is 1, and if this determination is NO (Fk1 = 0 and Fk2 = 0), the process proceeds to step SL22. Then, it is determined whether or not the route guidance flag Fa is 1.
[0144]
  When the determination in step SL22 is NO, the process proceeds to step SL23, and the display of the display screen 3a of the driving display 3 is turned off and the process returns. On the other hand, when the determination in step SL22 is YES, the process proceeds to step SL24. The route guidance display corresponding to the display mode is executed and the process returns.
[0145]
  On the other hand, when the determination in step SL21 is YES, the process proceeds to step SL25 to determine whether or not the information provision flag Fk1 is 1. When the determination in step SL25 is YES, the process proceeds to step SL26, a warning display as shown in FIG. 51 is executed on the display screen 3a of the driving display 3, and the process returns. At this time, the host vehicle mark α, the approaching vehicle on the priority road side (other vehicle mark β), and the traveling speed of the approaching vehicle are displayed on the second display portion 9 of the display screen 3a.
[0146]
  When the determination in step SL25 is NO (Fk2 = 1), the process proceeds to step SL27, the operation specific time display as shown in FIG. 52 is executed on the display screen 3a, and the process returns. That is, when the distance Db from the vehicle C to the approaching vehicle on the priority road side is smaller than the third predetermined value D3, “confirm left and right” is displayed on the first display portion 8 of the display screen 3a, and the confirmation operation is performed to the driver. Prompt.
[0147]
  With the above control operation, the approaching vehicle information on the priority road side obtained by the road-to-vehicle communication unit 15 can be provided as information that supports the driver's start determination after the temporary stop, and the approaching vehicle approaches the vehicle C considerably. If this happens, an alarm can be given to the driver. The timing of providing the information and warning is changed according to the driver state, and is earlier than that in the normal state when the driver is in a state of reduced arousal, fatigue, or reduced concentration.
[0148]
  FIG. 53 shows the control processing operation of the curve information communication system (curve approach speed warning system), and this processing operation also starts when the information communication main switch 45 is turned on. As described above, it may be started simultaneously with the ignition switch being turned on.
[0149]
  First, in the first step SM1, information on the presence of a curve (including the radius of curvature R, the distance to the curve, etc.) on the road ahead of the vehicle C is input from the road-to-vehicle communication unit 15, and in the next step SM2, the vehicle It is determined whether or not a curve exists within a third reference distance from C. This third reference distance is changed according to the driver state, and is set larger than that in the normal state when the driver is in a state of reduced arousal, fatigue, or reduced concentration.
[0150]
  When the determination is NO, the process proceeds to step SM3, and both the information providing flag Fm1 and the alarm flag Fm2 indicating that the curve exists is reset to 0 and the process returns. On the other hand, when the determination is YES, the process proceeds to step SM4. Advancing, it is determined whether or not the vehicle speed of the vehicle C is lower than the predetermined vehicle speed V0. The predetermined vehicle speed V0 is changed according to the driver state, and is set smaller than that in the normal state (for example, 40 km / h) when the driver is in a state of reduced arousal, fatigue, or concentration.
[0151]
  When the determination in step SM4 is NO, the process proceeds to step SM5 where the information providing flag Fm1 is set to 1 and the left and right front speakers 29, 30 are driven to output a single artificial sound. In step SM6, the alarm flag Fm2 is reset to 0 and the process returns.
[0152]
  On the other hand, when the determination in step SM4 is YES, the process proceeds to step SM7, the alarm flag Fm2 is set to 1, and the left and right front speakers 29, 30 are driven to output continuous artificial sounds. In step SM8, the information providing flag Fm1 is reset to 0 and the process returns.
[0153]
  FIG. 54 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the curve information communication system coexist. In this case, priority is given to the information display regarding the curve information communication system.
[0154]
  That is, in the first step SM21, it is determined whether one of the information provision flag Fm1 and the alarm flag Fm2 is 1, and if this determination is NO (Fm1 = 0 and Fm2 = 0), the process proceeds to step SM22. Then, it is determined whether or not the route guidance flag Fa is 1.
[0155]
  When the determination in step SM22 is NO, the process proceeds to step SM23, and the display on the display screen 3a of the driving display 3 is turned off and the process returns. On the other hand, when the determination in step SM22 is YES, the process proceeds to step SM24. The route guidance display corresponding to the display mode is executed and the process returns.
[0156]
  On the other hand, when the determination in step SM21 is YES, the process proceeds to step SM25 to determine whether or not the information provision flag Fm1 is 1. When the determination in step SM25 is YES, the process proceeds to step SM26, the warning display as shown in FIG. 55 is executed on the display screen 3a of the driving display 3, and the process returns. At this time, the distance from the vehicle C to the curve and the curvature radius R are displayed on the first display portion 8 of the display screen 3a.
[0157]
  When the determination in step SM25 is NO (Fm2 = 1), the process proceeds to step SM27, and an operation specific time display as shown in FIG. 56 is executed on the display screen 3a, and the process returns. That is, when the vehicle speed is higher than the predetermined vehicle speed V0, “Deceleration 40 km / h” or the like is displayed on the first display portion 8 of the display screen 3a to prompt the driver to perform a deceleration operation.
[0158]
  With the above control operation, the curve information obtained by the road-to-vehicle communication unit 15 can be provided as information for supporting the driver's deceleration determination. If there is a possibility of lane departure due to overspeed, an alarm is given to the driver. Can be given. The timing for providing the information is changed according to the driver state, and is earlier than when the driver is in a normal state when the driver is in a state of reduced alertness, fatigue, or reduced concentration. Also, the predetermined vehicle speed at which an alarm is issued is changed according to the driver state, and when the driver is in a state of reduced alertness, fatigue, or reduced concentration, an alarm is more likely to occur than in a normal state.
[0159]
  FIG. 57 shows the control processing operation of the lane departure warning system, which starts when the lane departure warning main switch 47 is turned on. As described above, it may be started simultaneously with the ignition switch being turned on.
[0160]
  First, in the first step SN1, white line information is obtained by subjecting the video from the white line detection CCD camera 16 to image processing. Note that the travel position information from the magnetic marker sensor 13 and the road shape information from the road-to-vehicle communication unit 15 may be obtained.
[0161]
  In the next step SN2, based on the white line information, the deviation state of the vehicle C with respect to the travel lane is detected (for details, refer to Japanese Patent Laid-Open No. 8-16994), and whether a lane deviation has occurred in the next step SN3. Determine whether or not.
[0162]
  When the determination is NO, the process proceeds to step SN4, and both the primary warning flag Fn1 and the secondary warning flag Fn2 indicating that a lane departure has occurred are reset to 0 and returned, while when the determination is YES, Proceeding to step SN5, it is determined whether or not the deviation amount is larger than a predetermined amount. This predetermined amount is changed according to the driver state, and is set smaller than that in the normal state when the driver is in a state of reduced arousal, fatigue, or reduced concentration.
[0163]
  When the determination in step SN5 is NO, the process proceeds to step SN6 to determine whether or not the vehicle C is moving in the departure direction. When the determination at step SN6 is NO, it is determined that the deviation has been repaired by the driver's operation of the steering wheel 6, and the process returns as it is. When the determination at step SN6 is YES, the process proceeds to step SN7.
[0164]
  In step SN7, the primary alarm flag Fn1 is set to 1, and the left and right front door speakers 31 and 32 are driven in the deviating direction to output a false sound "going sound". The output timing and magnitude of this sound can be changed according to the driver state. In step SN8, the secondary alarm flag Fn2 is reset to 0 and the process returns.
[0165]
  On the other hand, when the determination in step SN5 is YES, the process proceeds to step SN9 to determine whether or not the vehicle C is moving in the departure direction. When the determination at step SN9 is NO, it is determined that the deviation is repaired by the driver's operation of the steering wheel 6, and the process returns as it is. When the determination at step SN9 is YES, the process proceeds to step SN10.
[0166]
  In step SN10, the steering means 53 is driven to automatically steer in the direction opposite to the departure direction. In step SN11, the secondary alarm flag Fn2 is set to 1, and the left and right front speakers 29, 30 are driven continuously. Artificial sound is output, and then, in step SN12, the primary alarm flag Fn1 is reset to 0 and the process returns. The automatic steering intervention timing and sound output timing are changed in accordance with the change of the predetermined amount depending on the driver state. In addition, the steering amount and the loudness of the automatic steering can be changed according to the driver state.
[0167]
  FIG. 58 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the lane departure warning system coexist. In this case, priority is given to the information display regarding the lane departure warning system.
[0168]
  That is, in the first step SN21, it is determined whether one of the primary alarm flag Fn1 and the secondary alarm flag Fn2 is 1, and if this determination is NO (Fn1 = 0 and Fn2 = 0), the step Proceeding to SN22, it is determined whether or not the route guidance flag Fa is 1.
[0169]
  When the determination at step SN22 is NO, the process proceeds to step SN23, the display of the display screen 3a of the driving display 3 is turned off and the process returns. When the determination at step SN22 is YES, the process proceeds to step SN24. The route guidance display corresponding to the display mode is executed and the process returns.
[0170]
  On the other hand, when the determination in step SN21 is YES, the process proceeds to step SN25 to determine whether or not the primary alarm flag Fn1 is 1. When the determination in step SN25 is YES, the process proceeds to step SN26, the operation specific time display as shown in FIG. 59 (when deviating to the left) is executed on the display screen 3a of the driving display 3, and the process returns. That is, when the vehicle departs from the lane, “left lane” or the like is displayed on the first display portion 8 of the display screen 3a to prompt the driver to perform a departure avoidance operation.
[0171]
  When the determination in step SN25 is NO (Fn2 = 1), the process proceeds to step SN27, an automatic control display as shown in FIG. 60 is executed on the display screen 3a, and the process returns. That is, when the deviation amount is larger than the predetermined amount, the display screen 3a displays that automatic steering is being performed.
[0172]
  With the above control operation, a warning is given to the driver when the vehicle departs from the lane, and if the driver takes an appropriate avoidance action and the departure amount exceeds a predetermined amount, automatic steering is performed to return to the center of the lane. be able to. The timing of the warning and automatic steering can be changed according to the driver state, and when the driver is in a state of reduced arousal, fatigue, or reduced concentration, it is safer than in the normal state. Can be increased.
[0173]
  FIG. 61 shows the control processing operation of the rear side warning system, and this processing operation starts when the rear side warning main switch 48 is turned on. As described above, it may be started simultaneously with the ignition switch being turned on.
[0174]
  First, in the first step SO1, detection data from each rear side obstacle photographing CCD camera 22 is obtained, and in the next step SO2, based on the detection result of the CCD camera 22, the vehicle C (own vehicle). The vehicle (other vehicle) presence information (including information on the distance from the vehicle C to the other vehicle, the relative speed between the two) is calculated (for details, refer to Japanese Patent Laid-Open No. 10-206119). .
[0175]
  In the next step SO3, it is determined whether or not there is another vehicle within a set distance on the rear side with respect to the vehicle C and there is a winker operation in the direction in which the vehicle exists. This set distance is changed according to the driver state, and is set larger than that in the normal state when the driver is in a state of reduced alertness, fatigue, or reduced concentration.
[0176]
  When the determination is NO (such as when going straight without changing the lane), the process proceeds to step SO4, the information provision flag Fo1 indicating that another vehicle is present is set to 1, and at step SO5, The alarm flag Fo2 is reset to 0 and the process returns.
[0177]
  On the other hand, when the determination is YES, the process proceeds to step SO6, the alarm flag Fo2 is set to 1, and the left and right rear tray speakers 33, 34 are driven on the side where the other vehicle is present, and the false sound ( Output horn sound). In step SO7, the information provision flag Fo1 is reset to 0 and the process returns.
[0178]
  FIG. 62 shows display control of information on the display screen 3a of the driving display 3 when the route guidance system and the rear side warning system coexist. In this case, priority is given to the information display regarding the rear side warning system. .
[0179]
  That is, in the first step SO21, it is determined whether or not one of the information provision flag Fo1 and the alarm flag Fo2 is 1. If this determination is NO (Fo1 = 0 and Fo2 = 0), the process proceeds to step SO22. Then, it is determined whether or not the route guidance flag Fa is 1.
[0180]
  When the determination in step SO22 is NO, the process proceeds to step SO23, the display on the display screen 3a of the driving display 3 is turned off and the process returns. On the other hand, when the determination in step SO22 is YES, the process proceeds to step SO24. The route guidance display corresponding to the display mode is executed and the process returns.
[0181]
  On the other hand, when the determination in step SO21 is YES, the process proceeds to step SO25 to determine whether or not the information provision flag Fo1 is 1. When the determination in step SO25 is YES, the process proceeds to step SO26, and the perceptual function enlarged display as shown in FIG. 63 is executed on the display screen 3a of the driving display 3, and the process returns.
[0182]
  When the determination in step SO25 is NO (Fo2 = 1), the process proceeds to step SO27, the operation specific time display as shown in FIG. 64 is executed on the display screen 3a, and the process returns. That is, when there is another vehicle within a set distance on the rear side with respect to the vehicle C and there is a blinker operation in the direction in which the vehicle exists, “right rear” or the like is displayed on the first display portion 8 of the display screen 3a. Then urge the driver to cancel the lane change.
[0183]
  With the above control operation, when there is another vehicle within the set distance on the rear side, the presence information is provided to the driver, and an alarm can be given when the driver indicates the intention to change the lane. The timing for providing information and warning can be changed according to the driver's condition, and when the driver is in a state of reduced arousal, fatigue, or reduced concentration, it is safer than the normal state. Can be increased.
[0184]
  In this embodiment, the front obstacle radar 11, the infrared camera 12, the magnetic marker sensor 13, the road-vehicle communication unit 15, the white line detection CCD camera 16, the rear side obstacle photographing CCD camera 22, and the GPS sensor 27 are provided. The information acquisition means for acquiring information outside the vehicle C is configured. The driving display 3 is provided at a predetermined position in the vehicle C (a front part of the driver's seat of the instrument panel 1) and constitutes display means for displaying the information obtained by the information obtaining means, and the driver The monitor unit 63 constitutes line-of-sight behavior detection means for detecting the line-of-sight behavior of the driver of the vehicle C when the above information is displayed on the display means. Further, the driver state determination unit 20a in the CPU 20 constitutes a driver state determination unit that determines the state of the driver based on the driver's line-of-sight behavior detected by the line-of-sight behavior detection unit, and the CPU 20 Control means for performing at least one of display control of the information and vehicle control is configured based on the determination result by the driver state determination means.
[0185]
  Therefore, in the above embodiment, the driver C assists the driver by displaying the vehicle C external information obtained by the forward obstacle radar 11, the road-to-vehicle communication unit 15, etc. on the display screen 3 a of the driving display 3. Based on the driver's line-of-sight behavior at the time of display, the driver's state is determined as to whether the driver is in a state of reduced arousal, fatigue, reduced concentration, or in a normal state. The display timing, display mode, etc. when displaying, and the timing for performing alarms and vehicle control are changed, so that optimal display control and vehicle control according to the driver state can be performed, and the driver is awakened・ When you are in a state of fatigue or reduced concentration, displaying information early will not cause delays in risk avoidance behavior. Have can be adequately addressed, it is possible to improve safety. Since the driver state is detected every time information is displayed, the latest driver state is always obtained.
[0186]
  In addition, the determination contents of the driver state include the displayed information mode (number of characters, etc.), the running state of the vehicle C (variation of the steering angle, variation of the center of gravity of the vehicle C, etc.), and the traveling environment of the vehicle C (day and night, weather conditions). , The presence or absence of traffic jams, curves, etc.) and the driver's familiarity with the displayed information (according to the fact that the same information is continuously displayed, familiarity with this control device, etc.) It can be determined with high accuracy.
[0187]
【The invention's effect】
  As described above, according to the vehicle control device of the present invention, the driver's gaze behavior when information is displayed on the display means.The magnitude of the parameter with respect to the threshold for judgmentBased on this, the state of the driver is determined, and information display control and vehicle control are performed based on the determination resultAt the same time, the information displayed on the display means is displayed with an information amount corresponding to the degree of urgency, and the determination threshold is changed according to the information amount of the information displayed on the display means.Since it did in this way, display control and vehicle control become the optimal thing according to the fatigue state etc. of a driver, and improvement in safety can be aimed at.In addition, the state of the driver can be determined with high accuracy.
[Brief description of the drawings]
FIG. 1 is a front view showing a main part of an instrument panel of a vehicle equipped with a control device according to an embodiment of the present invention.
FIG. 2 is a cross-sectional view taken along the line II-II in FIG.
FIG. 3 is a perspective view showing the position of each component of the control device in the vehicle.
FIG. 4 is a plan view showing the position of each component of the control device on the vehicle.
FIG. 5 is a schematic plan view showing the position of a speaker.
FIG. 6 is a schematic side view showing the position of a speaker.
FIG. 7 is a block diagram illustrating a configuration of a control device.
FIG. 8 is a block diagram showing a configuration of a driver monitor unit.
FIG. 9 is a flowchart showing a detection processing operation of a driver's gaze behavior in the driver monitor unit.
FIG. 10 is a flowchart of basic control processing operations in a CPU.
FIG. 11 is a flowchart showing a detailed processing operation of driver state determination.
FIG. 12 is a characteristic diagram for determining a driver state.
FIG. 13 is a characteristic diagram for determining a driver state.
FIG. 14 is a characteristic diagram for determining a driver state.
FIG. 15 is a graph showing a relationship between a stop time (reference time) for issuing an alarm and a vehicle speed.
FIG. 16 is an explanatory diagram showing the amount of information to be displayed and the degree of urgency.
FIG. 17 is a characteristic diagram for determining the running state of the vehicle.
FIG. 18 is a characteristic diagram for determining the running state of the vehicle.
FIG. 19 is a characteristic diagram for determining the running state of the vehicle.
FIG. 20 is a flowchart showing a control processing operation of the route guidance system.
FIG. 21 is a flowchart showing an ICCW control processing operation;
FIG. 22 is a flowchart showing information display control when a route guidance system and ICCW coexist.
FIG. 23 is an explanatory diagram showing an example of route guidance display in the top plan view mode.
FIG. 24 is an explanatory diagram showing an example of route guidance display in the bird's eye view mode.
FIG. 25 is an explanatory diagram showing an example of a warning display in ICCW.
FIG. 26 is an explanatory diagram showing an example of an operation specifying display in ICCW.
FIG. 27 is an explanatory diagram showing an example of automatic control display in ICCW.
FIG. 28 is a flowchart showing a control processing operation of the pedestrian warning system.
FIG. 29 is a flowchart showing display control of information when a route guidance system and a pedestrian warning system coexist.
FIG. 30 is an explanatory diagram showing an example of a warning display in the pedestrian warning system.
FIG. 31 is an explanatory diagram showing an example of an operation specific time display in the pedestrian warning system.
FIG. 32 is an explanatory diagram showing another example of a display at the time of specifying an operation in the pedestrian warning system.
FIG. 33 is a flowchart showing a control processing operation of the forward obstacle information communication system.
FIG. 34 is a flowchart showing information display control when a route guidance system and a forward obstacle information communication system coexist.
FIG. 35 is an explanatory diagram showing an example of a warning display in the forward obstacle information communication system.
FIG. 36 is a flowchart showing the control processing operation of the all-weather vision system.
FIG. 37 is a flowchart showing display control of information when a route guidance system and an all-weather vision system coexist.
FIG. 38 is a flowchart showing the control processing operation of the crossing pedestrian information communication system.
FIG. 39 is a flowchart showing information display control when a route guidance system and a crossing pedestrian information communication system coexist.
FIG. 40 is an explanatory diagram showing an example of a warning display when there is a pedestrian in the route guidance direction in the crossing pedestrian information communication system.
FIG. 41 is an explanatory diagram showing an example of a warning display when there is a pedestrian crossing the front of the current traveling path of the vehicle in the crossing pedestrian information communication system.
FIG. 42 is a flowchart showing a control processing operation of the oncoming vehicle information communication system.
FIG. 43 is a flowchart showing information display control when the route guidance system and the oncoming vehicle information communication system coexist.
FIG. 44 is an explanatory diagram showing an example of a warning display in the oncoming vehicle information communication system.
FIG. 45 is a flowchart showing a control processing operation of the first encounter vehicle information communication system.
FIG. 46 is a flowchart showing information display control when the route guidance system and the first encounter vehicle information communication system coexist.
FIG. 47 is an explanatory diagram showing an example of an alert display in the first encounter vehicle information communication system.
FIG. 48 is an explanatory diagram showing an example of an operation specific time display in the first encounter vehicle information communication system.
FIG. 49 is a flowchart showing a control processing operation of the second encounter vehicle information communication system.
FIG. 50 is a flowchart showing information display control when a route guidance system and a second encounter vehicle information communication system coexist.
FIG. 51 is an explanatory diagram showing an example of an alert display in the second encounter vehicle information communication system.
FIG. 52 is an explanatory diagram showing an example of an operation specific time display in the second encounter vehicle information communication system.
FIG. 53 is a flowchart showing a control processing operation of the curve information communication system.
FIG. 54 is a flowchart showing display control of information when a route guidance system and a curve information communication system coexist.
FIG. 55 is an explanatory diagram showing an example of a warning display in the curve information communication system.
FIG. 56 is an explanatory diagram showing an example of an operation specifying time display in the curve information communication system.
FIG. 57 is a flowchart showing a control processing operation of the lane departure warning system.
FIG. 58 is a flowchart showing information display control when a route guidance system and a lane departure warning system coexist.
FIG. 59 is an explanatory diagram showing an example of an operation specific time display in the lane departure warning system.
60 is an explanatory diagram showing an example of automatic control display in the lane departure warning system. FIG.
FIG. 61 is a flowchart showing a control processing operation of the rear side warning system.
FIG. 62 is a flowchart showing display control of information when a route guidance system and a rear side warning system coexist.
FIG. 63 is an explanatory diagram showing an example of a perceptual function enlarged display in the rear side warning system.
FIG. 64 is an explanatory diagram showing an example of an operation specific time display in the rear side warning system.
[Explanation of symbols]
  C vehicle
  3 Driving display (display means)
  11 Forward obstacle radar (information acquisition means)
  12 Infrared camera (information acquisition means)
  13 Magnetic marker sensor (information acquisition means)
  15 Road-to-vehicle communication unit (information acquisition means)
  16 CCD camera for white line detection (information acquisition means)
  20 CPU (control means)
  20a Driver state determination unit (driver state determination means)
  22 CCD camera for photographing obstacles on the back side (information acquisition means)
  27 GPS sensor (information acquisition means)
  63 Driver monitor unit (Gaze behavior detection means)

Claims (4)

車両外部の情報を入手する情報入手手段と、
上記車両内の所定位置に設けられ、上記情報入手手段により入手された情報が表示される表示手段と、
上記情報が表示手段に表示されたときの上記車両のドライバの視線行動を検出する視線行動検出手段と、
上記視線行動検出手段により検出されたドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づいて、該ドライバの状態を判定するドライバ状態判定手段と、
上記ドライバ状態判定手段による判定結果に基づいて、上記情報の表示制御及び車両制御の少なくとも一方を行う制御手段とを備え、
上記表示手段に表示される情報は、緊急度に応じた情報量でもって表示されるものであり、
上記ドライバ状態判定手段は、上記表示手段に表示される情報の情報量に応じて、上記判定用閾値を変更するように構成されていることを特徴とする車両の制御装置。Information acquisition means for acquiring information outside the vehicle;
Display means provided at a predetermined position in the vehicle for displaying information obtained by the information obtaining means;
Gaze behavior detecting means for detecting gaze behavior of the driver of the vehicle when the information is displayed on the display means;
A driver state determination unit that determines a state of the driver based on a magnitude of a parameter related to the line-of-sight behavior of the driver detected by the line-of-sight behavior detection unit with respect to a determination threshold ;
Control means for performing at least one of display control of the information and vehicle control based on the determination result by the driver state determination means ,
The information displayed on the display means is displayed with an information amount corresponding to the degree of urgency,
The vehicle control apparatus, wherein the driver state determination unit is configured to change the determination threshold according to an amount of information displayed on the display unit . 請求項１記載の車両の制御装置において、
ドライバ状態判定手段は、車両の走行状態に応じて、ドライバの運転負担が大きい状態にあるか否かを判定して、ドライバの運転負担が大きい状態にあると判定したときには、ドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づくドライバの状態の判定を行わないで、ドライバが正常状態にあると判定するように構成されていることを特徴とする車両の制御装置。The vehicle control device according to claim 1,
The driver state determination means determines whether or not the driver's driving burden is large according to the driving state of the vehicle, and determines that the driver's driving burden is large. A vehicle control device configured to determine that a driver is in a normal state without performing determination of the state of the driver based on the magnitude of a parameter with respect to a determination threshold . 請求項１記載の車両の制御装置において、
ドライバ状態判定手段は、車両の走行環境に応じて、ドライバの運転負担が大きい状態にあるか否かを判定して、ドライバの運転負担が大きい状態にあると判定したときには、ドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づくドライバの状態の判定を行わないで、ドライバが正常状態にあると判定するように構成されていることを特徴とする車両の制御装置。The vehicle control device according to claim 1,
The driver state determination means determines whether or not the driver's driving burden is large according to the driving environment of the vehicle, and determines that the driver's driving burden is large. A vehicle control device configured to determine that a driver is in a normal state without performing determination of the state of the driver based on the magnitude of a parameter with respect to a determination threshold . 請求項１記載の車両の制御装置において、
ドライバ状態判定手段は、表示手段に表示される情報に対してドライバが慣れているか否か判定して、ドライバが慣れていると判定したときには、ドライバの視線行動に関するパラメータの、判定用閾値に対する大小に基づくドライバの状態の判定を行わないで、ドライバが正常状態にあると判定するように構成されていることを特徴とする車両の制御装置。The vehicle control device according to claim 1,
Driver condition determining means determines whether drivers to the information displayed on the display means is accustomed, when it is determined that the driver is accustomed, the parameters related to gaze behavior of the driver, the magnitude for determination threshold A vehicle control device configured to determine that the driver is in a normal state without performing determination of the state of the driver based on the above.
JP2000209769A 2000-07-11 2000-07-11 Vehicle control device Expired - Fee Related JP4696339B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000209769A JP4696339B2 (en) 2000-07-11 2000-07-11 Vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000209769A JP4696339B2 (en) 2000-07-11 2000-07-11 Vehicle control device

Publications (2)

Publication Number Publication Date
JP2002025000A JP2002025000A (en) 2002-01-25
JP4696339B2 true JP4696339B2 (en) 2011-06-08

Family

ID=18706128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000209769A Expired - Fee Related JP4696339B2 (en) 2000-07-11 2000-07-11 Vehicle control device

Country Status (1)

Country Link
JP (1) JP4696339B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210261149A1 (en) * 2020-02-26 2021-08-26 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus
US20210287546A1 (en) * 2020-03-11 2021-09-16 Rosco, Inc. Advanced pedestrian and/or driver alert and/or collision avoidance system

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3933001B2 (en) * 2002-07-24 2007-06-20 日産自動車株式会社 Driver future situation prediction device
JP4107006B2 (en) * 2002-08-08 2008-06-25 日産自動車株式会社 Information providing apparatus and information providing control program
JP3925642B2 (en) * 2002-09-18 2007-06-06 三菱自動車工業株式会社 Driving assistance device
JP4211501B2 (en) * 2003-06-11 2009-01-21 日産自動車株式会社 Vehicle driving support device
JP4581356B2 (en) * 2003-09-10 2010-11-17 株式会社豊田中央研究所 Driver's mind and body state determination device and driver's driving support device
JP2005149200A (en) * 2003-11-17 2005-06-09 Nissan Motor Co Ltd Risk notification apparatus, and vehicle and driver's seat equipped with risk notification apparatus
JP2005173929A (en) * 2003-12-10 2005-06-30 Denso Corp Device for determining awakening degree
JP4595377B2 (en) * 2004-04-28 2010-12-08 株式会社デンソー Driver state detection device and program
JP4855654B2 (en) 2004-05-31 2012-01-18 ソニー株式会社 On-vehicle device, on-vehicle device information providing method, on-vehicle device information providing method program, and on-vehicle device information providing method program
JP4604597B2 (en) * 2004-07-30 2011-01-05 トヨタ自動車株式会社 State estimating device, state estimating method, information providing device using the same, information providing method
JP2006051850A (en) * 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd Drive assisting device and drive assisting method
US7435227B2 (en) * 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
JP4497305B2 (en) 2004-12-08 2010-07-07 株式会社デンソー Driver status determination device
JP4656408B2 (en) * 2005-08-05 2011-03-23 株式会社デンソー Ambient monitoring device for vehicles
DE112006002246B4 (en) * 2005-08-24 2013-04-04 Hino Motors, Ltd. Device for automatic brake control
JP2007072632A (en) * 2005-09-05 2007-03-22 Toyota Motor Corp On-vehicle warning apparatus
JP4878870B2 (en) * 2006-02-27 2012-02-15 トヨタ自動車株式会社 Road shape estimation device, obstacle detection device, and road shape estimation method
JP2007290539A (en) * 2006-04-25 2007-11-08 Denso Corp Driving support apparatus for vehicle
JP4882499B2 (en) 2006-05-10 2012-02-22 株式会社デンソー Speed information providing apparatus and program
JP4582052B2 (en) * 2006-06-07 2010-11-17 トヨタ自動車株式会社 Driving support device
JP5003111B2 (en) * 2006-11-15 2012-08-15 トヨタ自動車株式会社 Vehicle control system
JP4240118B2 (en) * 2006-12-12 2009-03-18 トヨタ自動車株式会社 Driving assistance device
JP2008213595A (en) * 2007-03-01 2008-09-18 Denso Corp Headlight control device
JP2009214741A (en) * 2008-03-11 2009-09-24 Nissan Motor Co Ltd Braking force control device and its method
JP5266933B2 (en) * 2008-07-28 2013-08-21 日産自動車株式会社 Lane departure prevention device
JP5458315B2 (en) * 2008-08-14 2014-04-02 株式会社ユピテル Vehicle alarm device
JP5185743B2 (en) * 2008-09-04 2013-04-17 富士重工業株式会社 Steering support device
JP4947028B2 (en) * 2008-10-10 2012-06-06 株式会社デンソー Driving support apparatus and driving support method for automobile
CN101722852A (en) * 2008-10-28 2010-06-09 深圳富泰宏精密工业有限公司 Driving safety monitoring apparatus and method
JP5310745B2 (en) 2009-04-21 2013-10-09 トヨタ自動車株式会社 Driving support device
JP5146427B2 (en) * 2009-09-11 2013-02-20 株式会社エクォス・リサーチ Vehicle control device
JP5358414B2 (en) * 2009-12-04 2013-12-04 株式会社豊田中央研究所 Fragile state determination device, method and program
JP2010157252A (en) * 2010-02-04 2010-07-15 Sony Corp In-vehicle device, method for providing information of in-vehicle device, program of method for providing information of in-vehicle device, and recording medium having the program recorded therein
JP5897787B2 (en) * 2010-03-30 2016-03-30 トヨタ自動車株式会社 Driving support device and driving support method
US20130234826A1 (en) * 2011-01-13 2013-09-12 Nikon Corporation Electronic device and electronic device control program
JP5811537B2 (en) * 2011-01-13 2015-11-11 株式会社ニコン Electronics
JP5765995B2 (en) * 2011-03-31 2015-08-19 富士通テン株式会社 Image display system
US20140207357A1 (en) * 2011-11-10 2014-07-24 Mitsubishi Electric Corporation Vehicle-side system
JP2014021913A (en) * 2012-07-23 2014-02-03 Denso Corp Driving support device
JP5974915B2 (en) * 2013-01-29 2016-08-23 株式会社デンソー Arousal level detection device and arousal level detection method
WO2014208090A1 (en) * 2013-06-28 2014-12-31 パナソニックＩｐマネジメント株式会社 Information provision device, information provision method, program, server, and information provision system
JP5842110B2 (en) * 2013-10-10 2016-01-13 パナソニックＩｐマネジメント株式会社 Display control device, display control program, and recording medium
JP6327078B2 (en) * 2013-12-23 2018-05-23 株式会社デンソー Driving assistance device
FR3021913B1 (en) * 2014-06-10 2016-05-27 Renault Sa DETECTION SYSTEM FOR A MOTOR VEHICLE FOR SIGNALING WITH A SOUND SCENE A FAULT IN VIGILANCE OF THE DRIVER IN THE PRESENCE OF AN IMMEDIATE HAZARD
JP6055865B2 (en) * 2014-08-04 2016-12-27 富士重工業株式会社 Driving environment risk determination device and driving environment risk notification device
JP6331945B2 (en) * 2014-10-07 2018-05-30 株式会社デンソー Psychological state estimation device and psychological state estimation method
JP2016091259A (en) * 2014-11-04 2016-05-23 いすゞ自動車株式会社 Alarm apparatus
JP6471707B2 (en) * 2016-02-09 2019-02-20 株式会社デンソー Driving teaching device
CN110582803B (en) * 2017-04-26 2022-02-08 三菱电机株式会社 Processing apparatus
JP2019020911A (en) * 2017-07-13 2019-02-07 トヨタ自動車株式会社 Attention calling method
JP2019053436A (en) * 2017-09-13 2019-04-04 株式会社オートネットワーク技術研究所 Driving load operator and computer program
JP6948210B2 (en) * 2017-09-29 2021-10-13 株式会社Ｓｕｂａｒｕ Driving support device and driving support method
JP6900915B2 (en) * 2018-01-24 2021-07-07 トヨタ自動車株式会社 Autonomous driving system
DE102018209192B3 (en) 2018-05-17 2019-05-09 Continental Automotive Gmbh Method and device for operating a camera monitor system for a motor vehicle
JP7111510B2 (en) * 2018-06-01 2022-08-02 フォルシアクラリオン・エレクトロニクス株式会社 State determination device, driving support device, state determination method, and driving support method
JP2020111202A (en) * 2019-01-11 2020-07-27 株式会社リコー Display control device, display device, display system, movable body, program, and image formation method
JP7298491B2 (en) * 2020-01-27 2023-06-27 トヨタ自動車株式会社 Display control device, display control method and program
JP7380365B2 (en) * 2020-03-19 2023-11-15 マツダ株式会社 state estimation device
JP2022133688A (en) * 2021-03-02 2022-09-14 パナソニックＩｐマネジメント株式会社 Driving assistance device and driving assistance method
JP2022142147A (en) * 2021-03-16 2022-09-30 株式会社J-QuAD DYNAMICS Driving state determination device, driving support device, driving state determination method, and driving state determination program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0552608A (en) * 1991-08-29 1993-03-02 Mazda Motor Corp Travel condition judgment device for moving vehicle
JPH07117593A (en) * 1993-10-21 1995-05-09 Mitsubishi Electric Corp Alarm device for vehicle
JPH08178712A (en) * 1994-12-22 1996-07-12 Toyota Motor Corp Rambling-drive detection apparatus
JPH11115540A (en) * 1997-10-21 1999-04-27 Isuzu Motors Ltd Device for detecting dozing at the wheel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0552608A (en) * 1991-08-29 1993-03-02 Mazda Motor Corp Travel condition judgment device for moving vehicle
JPH07117593A (en) * 1993-10-21 1995-05-09 Mitsubishi Electric Corp Alarm device for vehicle
JPH08178712A (en) * 1994-12-22 1996-07-12 Toyota Motor Corp Rambling-drive detection apparatus
JPH11115540A (en) * 1997-10-21 1999-04-27 Isuzu Motors Ltd Device for detecting dozing at the wheel

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210261149A1 (en) * 2020-02-26 2021-08-26 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus
US11724712B2 (en) * 2020-02-26 2023-08-15 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus
US20210287546A1 (en) * 2020-03-11 2021-09-16 Rosco, Inc. Advanced pedestrian and/or driver alert and/or collision avoidance system
US11890987B2 (en) * 2020-03-11 2024-02-06 Rosco, Inc. Advanced pedestrian and/or driver alert and/or collision avoidance system

Also Published As

Publication number Publication date
JP2002025000A (en) 2002-01-25

Similar Documents

Publication Publication Date Title
JP4696339B2 (en) Vehicle control device
JP4698002B2 (en) Vehicle display device
US11338820B2 (en) Vehicle automated driving system
JP6354776B2 (en) Vehicle control device
US10120378B2 (en) Vehicle automated driving system
JP6515814B2 (en) Driving support device
JP5004865B2 (en) Obstacle detection device for automobile
JP6460058B2 (en) Vehicle control device
JP4560855B2 (en) Vehicle display device
JP2006284195A (en) Route guidance system
JP6720732B2 (en) Vehicle control device
JP2017167758A (en) Control device for vehicle
JP4389708B2 (en) Vehicle display device and display method thereof
CN109987095B (en) Driving assistance system and method
JP6678905B1 (en) Self-driving car
JP2018127084A (en) Automatic drive vehicle
JP6790522B2 (en) Vehicle control device
JP4618522B2 (en) Vehicle failure display device
JP2009151566A (en) Display device for vehicle
JP7157780B2 (en) Information presentation device for self-driving cars
JP6772527B2 (en) Vehicle control device
JP2021149319A (en) Display control device, display control method, and program
JP4154777B2 (en) Vehicle display device
JP6658358B2 (en) Vehicle control device
JP7158368B2 (en) Information presentation device for self-driving cars

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

R150 Certificate of patent or registration of utility model

Ref document number: 4696339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees