JP2007062503A

JP2007062503A - 車載機器制御装置

Info

Publication number: JP2007062503A
Application number: JP2005249590A
Authority: JP
Inventors: Tomoya Kawasaki; 智哉川崎
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-08-30
Filing date: 2005-08-30
Publication date: 2007-03-15

Abstract

【課題】安全性を確保しつつ運転者以外の乗員の利便性を向上させる。
【解決手段】自車両が走行中(102が肯定)の場合、運転者の顔が車両の前方を向いているか否かの判定結果を表す運転者正面視フラグを取り込むと共に、助手席に着座している乗員の有無を検出した結果を取り込み(104,106)、運転者の顔が車両の前方を向いていない場合(108の判定が肯定)及び運転者の顔は車両の前方を向いているものの助手席に乗員がいない場合(110が肯定)は、ナビゲーション装置に対する乗員の操作を受け付けない操作受付禁止状態へ遷移させ(112)、運転者の顔が車両の前方を向いており助手席に乗員がいる場合(110が否定)は、ナビゲーション装置に対する乗員の操作を受け付ける操作受付状態へ遷移させる(114)ことで、助手席の乗員によるナビゲーション装置の操作を可能とする。
【選択図】図４

Description

本発明は車載機器制御装置に係り、特に、車両に搭載され該車両の運転席から見て前記車両の前方とは異なる方向に配置された表示手段に情報を表示する車載機器を制御する車載機器制御装置に関する。

車両用のナビゲーションシステムは、衛星等を利用して自車両の位置を検出すると共に、更に自車両の現在位置から目的地に至る複数の経路を評価して最適な経路を選択し、自車両の現在位置及び選択した経路を地図上で明示する画像をディスプレイに表示させるものであり、この画像を車両の運転者等の乗員が参照することで、自車両の現在位置を把握できると共に、表示された経路に沿って車両を走行させることで自車両を確実に目的地に到達させることができる。

ところで、ナビゲーションシステムに対する操作はラジオ等の他の車載機器に対する操作と比較して複雑である（例えば目的地を設定するための操作等）ことから、運転者の注意が散漫となることを防止して安全性を確保するために、車両に搭載されるナビゲーションシステムは、車両が停止しているときにのみ操作を受け付けるように構成されている。しかし、上記構成では運転者以外の乗員であっても車両の走行中にナビゲーションシステムを操作することができないので、利便性が低いという問題がある。

上記に関連して特許文献１には、運転席及び助手席から操作可能な位置に存在している操作部へ伸ばされた乗員の手を赤外線カメラによって撮像し、乗員の手に相当する画像領域の重心が運転席側にあるか否かに基づいて操作者が運転者か否かを判定し、操作者が運転者であると判定した場合にはナビゲーションシステムに対する複雑な操作を不許可とする技術が開示されている。
特開２００４−６７０３１号公報

しかしながら、特許文献１に記載の技術では、運転者がナビゲーションシステムを操作していることは検出できるものの、例えば運転者がディスプレイに表示されている地図を注視している等のように、運転者が運転操作に専念していない状態であったとしても、これを検出することはできない。そして、特許文献１に記載の技術では、車両走行中であっても運転者以外の乗員がナビゲーションシステムを操作する場合には複雑な操作も許可されるので、例えば運転者以外の乗員が目的地を設定するための操作等の複雑な操作を行っており、当該操作に伴ってディスプレイに表示される情報を運転者が注視している等のように、運転者の注意が散漫となっている状況が許容されてしまうという問題があった。

また、上記の問題はナビゲーションシステムに対する操作に限られるものではない。例えばナビゲーションシステムの中には、テレビチューナによって受信したテレビ放送の映像やＤＶＤ(Digital Versatile Disk)に記録されている映像をディスプレイに表示する機能を備えたシステムが存在している。この種のシステムにおいても、運転者の注意が散漫となることを防止するために、車両が停止しているときにのみディスプレイに映像を表示させるように構成されており、車両走行中には運転者以外の乗員も映像を視聴できないが、利便性を向上させる目的で車両走行中にも映像を表示させるように構成した場合、特許文献１に記載の技術を適用したとしても、ディスプレイに表示されている映像を運転者が視聴している状況を検知することができないので、運転者の注意が散漫となっている状況が許容されてしまうことになる。

本発明は上記事実を考慮して成されたもので、安全性を確保しつつ運転者以外の乗員の利便性を向上させることができる車載機器制御装置を得ることが目的である。

上記目的を達成するために請求項１記載の発明に係る車載機器制御装置は、車両の運転席から見て当該車両の前方とは異なる方向に配置された表示手段に情報を表示する車載機器が搭載された前記車両の運転者の顔が、前記車両の前方又は進行方向を向いているか否かを判定する顔向き判定手段と、前記車両が走行中か否かを検出する走行検出手段と、前記走行検出手段によって前記車両が走行中であることが検出されている場合に、前記顔向き判定手段によって前記運転者の顔が前記車両の前方又は進行方向を向いていると判定されている間のみ、前記車両の運転者以外の乗員による前記車載機器に対する操作又は前記車載機器の前記表示手段に表示された情報の視聴が可能となるように前記車載機器を制御する制御手段と、を含んで構成されている。

請求項１記載の発明に係る車載機器制御装置は、車両の運転席から見て当該車両の前方とは異なる方向に配置された表示手段に情報を表示する車載機器が搭載された車両に取り付けられる。上記の車載機器としてはナビゲーションシステムが好適であるが、これに代えて、例えばテレビ放送の映像やＤＶＤ等の記録媒体に記録された映像を表示手段に表示させる映像表示装置や、指定されたウェブページのデータを携帯電話機等の無線通信装置を介して受信して表示手段に表示させる情報表示装置、或いは上記のシステムや装置の機能を兼ね備えた車載機器を適用してもよい。

請求項１記載の発明では、上記の車載機器が搭載された車両の運転者の顔が車両の前方又は進行方向を向いているか否かを顔向き判定手段によって判定する。この判定は、例えば運転者の顔の向きを検知し、検知した向きが車両の前方又は進行方向か否かを判定することで実現できる。運転者の顔の向きは、例えば特開２００４−２５９０４３号公報にも記載されているように、運転者が正面を向いたときの顔をステレオカメラで撮像して初期エッジ画像を作成し、仮想カメラで撮像したときの仮想画像を作成しておき、運転者の顔をステレオカメラで再度撮像して得られたエッジ画像と仮想画像との一致度に基づいて仮想カメラの仮想位置を求め、ステレオカメラの一方のカメラの位置と仮想位置との関係に基づいて検知することができる。また、公知の他の画像処理を組み合わせて行うことも可能である。また、車両の進行方向は、例えば車両の操舵輪の操舵角から判断することができる。

また請求項１記載の発明では、車両が走行中か否かが走行検出手段によって検出され、制御手段は、走行検出手段によって車両が走行中であることが検出されている場合に、顔向き判定手段によって運転者の顔が車両の前方又は進行方向を向いていると判定されている間のみ、車両の運転者以外の乗員による車載機器に対する操作又は車載機器の表示手段に表示された情報の視聴が可能となるように車載機器を制御する。このように、請求項１記載の発明では、運転者の顔が車両の前方又は進行方向を向いているか否かを顔向き判定手段によって判定するので、運転者が運転操作に専念している状況か否かを正確に判定することができる。そして請求項１記載の発明では、車両が走行中であることが検出されている場合に、運転者の顔が車両の前方又は進行方向を向いていると判定されている間、すなわち運転者が運転操作に専念している状況である間のみ、車両の運転者以外の乗員による車載機器に対する操作又は車載機器の表示手段に表示された情報の視聴が可能となるように車載機器を制御するので、安全性を確保しつつ運転者以外の乗員の利便性を向上させることができる。

また、請求項１記載の発明において、例えば請求項２に記載したように、車両の運転者以外の乗員の有無を検出する乗員検出手段を更に設け、制御手段を、乗員検出手段によって運転者以外の乗員の存在が検出されていない場合には、走行検出手段によって車両が走行中であることが検出されている間、顔向き判定手段によって判定された運転者の顔の向きに拘わらず、車載機器に対する操作又は車載機器の表示手段に表示された情報の視聴が不可となるように車載機器を制御することが好ましい。これにより、車両に運転者以外の乗員が存在していない場合、すなわち車両の走行中に車載機器に対する操作又は車載機器の表示手段に表示された情報の視聴を許可すべき乗員が存在していない場合に、運転者が車両走行中に車載機器に対する操作又は車載機器の表示手段に表示された情報の視聴を行うことをより確実に防止することができる。

なお、請求項２記載の発明において、上記の乗員検出手段は、車両の運転席以外の各座席に着座している乗員の有無を各々検出するように構成してもよいが、車載機器に対する操作や、表示手段に表示されている情報の視聴が可能な乗員のみを検出対象とすることが望ましく、例えば前席（例えば運転席及び助手席）に着座している乗員のみが車載機器に対する操作や、表示手段に表示されている情報の視聴が可能なように車載機器が構成されている場合、乗員検出手段は、車両の前席のうち運転席以外の座席に着座している乗員の有無のみを検出するように構成することが望ましい。

また、請求項１記載の発明において、顔向き判定手段は、例えば請求項３に記載したように、運転者の顔の向きを繰り返し検出し、運転者の顔が車両の前方又は進行方向を向いている状態が第１の所定時間以上継続した場合に、運転者の顔が車両の前方又は進行方向を向いていると判定することが好ましい。これにより、運転者の顔が車両の前方又は進行方向を瞬間的に向いたのみでは、運転者の顔が車両の前方又は進行方向を向いているとは判定されず、運転者の顔が車両の前方又は進行方向を向いている状態が第１の所定時間以上継続した場合、すなわち運転者が運転操作に専念していると判断できる状況が検出された場合に、運転者の顔が車両の前方又は進行方向を向いていると判定され、運転者以外の乗員による車載機器に対する操作又は表示手段に表示されている情報の視聴が可能となるように制御されるので、安全性を向上させることができる。

また、請求項１記載の発明において、顔向き判定手段は、例えば請求項４に記載したように、運転者の顔の向きを繰り返し検出し、運転者の顔が車両の前方又は進行方向を向いていない状態が第２の所定時間以上継続した場合に、運転者の顔が車両の前方又は進行方向を向いていないと判定することが好ましい。例えばドアミラーによる後方確認等のように、通常の運転操作の範囲内でも運転者の顔が一時的に車両の前方又は進行方向とは異なる方向を向くことがあるが、上記のように、運転者の顔が車両の前方又は進行方向を向いていない状態が第２の所定時間以上継続した場合に、運転者の顔が車両の前方又は進行方向を向いていないと判定することにより、通常の運転操作の範囲内で運転者の顔が一時的に車両の前方又は進行方向とは異なる方向を向いたときに、運転者以外の乗員による車載機器に対する操作又は表示手段に表示されている情報の視聴が直ちに不可となることが防止されるので、運転者以外の乗員が車載機器に対する操作又は表示手段に表示されている情報の視聴を行う際の使い勝手を向上させることができる。

また、請求項１記載の発明において、車両が緊急状態に至る可能性を左右する所定の事象を検出して車両が緊急状態に至る可能性を予測判断し、車両が緊急状態に至る可能性が高いと予測した場合に警報を発すると共に、車両制御装置及び乗員保護装置を作動させるプリクラッシュセーフティ装置が車両に搭載されている場合には、例えば請求項５に記載したように、顔向き判定手段による運転者の顔の向きの判定結果が、所定の事象の１つとしてプリクラッシュセーフティ装置にも入力されるように構成することが好ましい。これにより、本発明に係る車載機器制御装置及び上記のプリクラッシュセーフティ装置に顔向き判定手段を各々設ける必要がなくなり、車載システム全体としての構成が複雑化してコストが嵩むことを回避することができる。

更に、請求項２記載の発明において、車両の減速度が閾値以上の場合に、前記車両の複数の座席に対応して各々設けられたエアバッグのうち、乗員が着座している座席に対応するエアバッグを展開させるエアバッグ装置が車両に搭載されている場合には、例えば請求項６に記載したように、乗員検出手段による検出結果がエアバッグ装置にも入力されるように構成することが好ましい。これにより、本発明に係る車載機器制御装置及び上記のエアバッグ装置に乗員検出手段を各々設ける必要がなくなり、車載システム全体としての構成が複雑化してコストが嵩むことを回避することができる。

以上説明したように本発明は、運転席から見て車両の前方と異なる方向に配置された表示手段に情報を表示する車載機器が搭載された車両の運転者の顔が、車両の前方又は進行方向を向いているか否かを判定する顔向き判定手段を設け、車両が走行中である場合に、顔向き判定手段によって運転者の顔が車両の前方又は進行方向を向いていると判定されている間のみ、運転者以外の乗員による車載機器に対する操作又は車載機器の表示手段に表示された情報の視聴が可能となるように制御するようにしたので、安全性を確保しつつ運転者以外の乗員の利便性を向上させることができる、という優れた効果を有する。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には、車両に搭載され、本発明に係る車載制御装置としての機能を兼ね備えた車載システム１０が示されている。車載システム１０は、互いに異なる制御を行う複数の電子制御ユニット（コンピュータを含んで構成された制御ユニットであり、以下ＥＣＵと称する）を備え、これらが第１バス１２及び第２バス１４を介して互いに接続されて構成されている。

車載システム１０は本発明に係る車載機器としてのナビゲーション装置１６を備えており、ナビゲーション装置１６には、ＬＣＤ(Liquid Crystal Display)等から成り図２に示すように車両のインストルメントパネルの中央部（すなわち運転席から見て車両の前方とは異なる方向）に設けられたディスプレイ１８と、ディスプレイ１８の表示面上に設けられたタッチパネルやディスプレイ１８の近傍に配設された複数のスイッチから成る操作部２０が接続されている。ナビゲーション装置１６は、衛星からの信号を受信することによって測位した自車両の現在位置をＤＶＤ等の記録媒体に記憶された地図情報と照合することで自車両の現在位置を高精度に検出し、ディスプレイ１８に表示した地図上に自車両の現在位置を表示したり、自車両の現在位置から乗員（例えば運転者又は助手席に着座した乗員）が設定した目的地へ至る経路を探索してディスプレイ１８に表示したり、乗員の指示に応じて自車両の現在位置近辺の情報（例えば各種施設の情報）を記録媒体から取得し、ディスプレイ１８に表示する機能を備えている。ナビゲーション装置１６は、ナビゲーション装置１６の動作を制御するナビＥＣＵ２２を介して第１バス１２に接続されている。なお、ナビＥＣＵ２２は本発明に係る制御手段に対応している。

また車載システム１０は、第２バス１４に接続された顔向き検出部２４を備えており、顔向き検出部２４は２台のＣＣＤカメラ２６と画像処理装置２８で構成されている。図示は省略するが、２台のＣＣＤカメラ２６は、例えばメータフード３０（図２参照）の両端部付近等のように車両の左右方向に離間した位置に、運転席に着座した運転者の顔を撮像可能な向きで配置されている。２台のＣＣＤカメラ２６が運転者の顔を各々撮像することで得られた画像は画像処理装置２８に入力され、画像処理装置２８は、２台のＣＣＤカメラ２６から各々入力された画像に基づいて運転者の顔の向きθ_Dを一定周期で検出する。

なお、画像処理装置２８による運転者の顔の向きθ_Dの検出方法としては公知の種々の検知方法を適用可能であり、例えば特開２００４−２５９０４３号公報にも記載されているように、運転者が正面を向いたときの顔を２台のＣＣＤカメラ２６で撮像して初期エッジ画像を作成し、この初期エッジ画像を合成することで、運転者の顔を仮想的な位置に配置したカメラ（仮想カメラ）で撮像することで得られる画像にエッジ処理を施した画像に相当する仮想画像を作成しておき、顔の向きθ_Dの検出のために運転者の顔を２台のＣＣＤカメラ２６で撮像して得られたエッジ画像と仮想画像との一致度に基づいて仮想カメラの仮想位置を求め、２台のＣＣＤカメラ２６のうちの一方のＣＣＤカメラ２６の位置と仮想位置との関係に基づいて運転者の顔の向きθ_Dを検出することができる。

また、より簡易な検出方法として、例えばＣＣＤカメラ２６によって撮像された画像に対し、運転者の顔の左右方向両端部に相当する位置（例えば運転者の頬に相当するエッジの位置）と運転者の顔の左右方向中央部に相当する位置（例えば運転者の鼻に相当する画像部の位置）を検出し、検出した運転者の顔の左右方向両端部の位置に対する運転者の顔の左右方向中央部に相当する位置の偏りに基づいて運転者の顔の向きθ_Dを検出する等の方法を適用することも可能である。

第２バス１４には走行支援ＥＣＵ３２が接続されており、顔向き検出部２４による運転者の顔の向きθ_Dの検出結果は走行支援ＥＣＵ３２に入力される。走行支援ＥＣＵ３２は第１バス１２にも接続されており、詳細は後述するが、顔向き検出部２４から入力された運転者の顔の向きθ_Dの検出結果に基づいて、運転者がよそ見をしているか否かを判定し、運転者がよそ見をしていると判定した場合にプリクラッシュ制御ＥＣＵ６２（後述）へ通知すると共に、運転者の顔が車両の前方を向いているか否か判定し、判定結果をナビＥＣＵ２２へ出力する。なお、走行支援ＥＣＵ３２は顔向き検出部２４と共に本発明に係る顔向き判定手段に対応している。

また、車載システム１０はＡＢＳ(Anti-lock Brake System) ＥＣＵ３６を備えており、このＡＢＳＥＣＵ３６にはＡＢＳＡＣＴ（アクチュエータ）３８及び車両の各車輪の周速度を検出する車輪速センサ４０が接続されている。なお、ＡＢＳＡＣＴ３８は、車両の各車輪に設けられたブレーキ装置のホイールシリンダに対応して各々設けられ、ＡＢＳＥＣＵ３６から入力された駆動信号に応じて、ホイールシリンダをマスタシリンダと連通させると共にリザーバから遮断する通常状態（増圧状態）から、ホイールシリンダをマスタシリンダ及びリザーバと遮断する保持状態又はホイールシリンダをリザーバと連通させマスタシリンダから遮断する減圧状態へ切り替わる電磁バルブ等で構成することができる。また第１バス１２には、超音波ドップラ式又は空間フィルタ式で車両の対地車体速度を検出する対地車速センサ４２が接続されている。

ＡＢＳＥＣＵ３６は、対地車速センサ４２によって検出される車体速度と車輪速センサ４０によって検出される各車輪の周速度との差が所定値未満となるように、各車輪のホイールシリンダに対応する電磁バルブによってブレーキフルードの油圧を減圧、増圧、保持させることで、各車輪毎に設けられたブレーキ装置のホイールシリンダにより各車輪に加えられる制動トルクを制御する、所謂ＡＢＳ制御を行う。

また、車載システム１０は介入ブレーキ制御ＥＣＵ４４を備えており、この介入ブレーキ制御ＥＣＵ４４には介入ブレーキ制御ＡＣＴ４６が接続されている。なお、介入ブレーキ制御ＡＣＴ４６としては、運転者によるブレーキ操作を代替する油圧を発生させる液圧ポンプ等で構成することができる。介入ブレーキ制御ＥＣＵ４４は、後述するプリクラッシュ制御ＥＣＵ６２からプリクラッシュ制御信号が入力され、かつ運転者によるブレーキ操作が行われていない場合に、所定の目標油圧に応じて液圧ポンプを駆動させることで、運転者に代わって自車両を制動・減速させる介入ブレーキ制御を行う。

また、車載システム１０はウェビング巻取ＥＣＵ４８を備えており、このウェビング巻取ＥＣＵ４８には、個々のウェビング巻取装置に各々設けられウェビングに張力を与えるプリテンショナから成るウェビング巻取ＡＣＴ５０が接続されている。ウェビング巻取ＥＣＵ４８は、後述するプリクラッシュ制御ＥＣＵ６２からプリクラッシュ制御信号が入力されると、ウェビング巻取ＡＣＴ５０としてのプリテンショナを作動させることで、車両の各乗員に巻き掛けられているウェビングの巻き取りを行わせる。

更に、車載システム１０はエアバッグＥＣＵ５２を備えており、このエアバッグＥＣＵ５２には、車両の運転席の前方にエアバッグと共に設けられた運転席エアバックＡＣＴ５４、車両の助手席の前方にエアバッグと共に設けられた助手席エアバックＡＣＴ５６、運転席に着座している乗員（運転者）の有無を検出する運転席乗員検出センサ５８、及び、助手席に着座している乗員の有無を検出する助手席乗員検出センサ６０が各々接続されている。乗員検出センサ５８，６０としては、例えば乗員が座席に着座することで座席に加わる圧力を検出するセンサを用いることができるが、他の原理で乗員を検出するセンサを用いてもよい。なお、上記のエアバッグＥＣＵ５２、運転席エアバックＡＣＴ５４、助手席エアバックＡＣＴ５６、運転席乗員検出センサ５８及び助手席乗員検出センサ６０はエアバッグ装置を構成しており、助手席乗員検出センサ６０は請求項２に記載の乗員検出手段に対応している。

第１バス１２には、車両の走行によって車体に加わる加速度や衝突等によって車体に加わる加速度を検出するＧセンサ７０が接続されており、エアバッグＥＣＵ５２はＧセンサ７０によって検出された加速度が閾値を越えた場合に、エアバックＡＣＴ５４、５６のうち、乗員検出センサ５８，６０によって乗員の着座が検出されている座席の前方に設けられたエアバッグＡＣＴを作動させ、対応するエアバッグを展開させる。またエアバッグＥＣＵ５２は、プリクラッシュ制御ＥＣＵ６２からプリクラッシュ制御信号が入力されると、上記の加速度の閾値を変更設定する。

また、車載システム１０はプリクラッシュ制御ＥＣＵ６２を備えており、このプリクラッシュ制御ＥＣＵ６２にはレーダ装置６４が接続されていると共に、画像処理装置６６を介して２台のＣＣＤカメラ６８が接続されている。なお、プリクラッシュ制御ＥＣＵ６２、レーダ装置６４、画像処理装置６６及び２台のＣＣＤカメラ６８はプリクラッシュ制御装置を構成しており、請求項６に記載のプリクラッシュセーフティ装置の一部を構成している。

本実施形態では、レーダ装置６４として、ミリ波を探知波とし、連続波（ＣＷ）に周波数変調（ＦＭ）を施した送信信号を用いるＦＭ−ＣＷレーダ装置を用いている。レーダ装置６４は、自車両に搭載され、自車両の前方（例えば車両左右方向の角度範囲が１０゜〜２０゜、最遠方探知距離が２００ｍの範囲内）に存在する車両や道路標識等の前方存在物を検出し、前方存在物と自車両の相対位置関係及び相対速度を同時に取得可能とされている。レーダ装置６４ではアダプディブアレーアンテナフィルタが用いられるとともに、デジタル・ビーム・フォーミング（ＤＢＦ）技術によるアンテナビームの形成および走査が行われ、前方存在物が点情報として検出される。ＦＭ−ＣＷレーダ装置の探知原理，ＤＢＦ技術等については、本願出願人が以前に出願した特開２００３−１３０９４５号、特開平８−２２０２２０号等に詳しく説明されているため、詳細な説明は省略する。

また、レーダ装置６４は、マイクロプロセッサ等から成り一定周期（例えば数十ｍｓｅｃ）で行われる前方存在物の探知結果を処理する処理装置を内蔵しており、前方存在物の探知結果は処理装置に入力される。処理装置は直近の複数回の探知結果を基に、相対位置関係や相対速度の変化等に基づいてノイズやガードレール等の路側物等を監視対象から除外し、先行車両や路上に存在する停止車両等の特定の前方存在物を監視対象物として追従監視する処理を行う。個々の監視対象物との相対位置関係や相対速度等の情報は、画像処理装置６６に送られると共に、プリクラッシュ制御ＥＣＵ６２からの要求に応じてプリクラッシュ制御ＥＣＵ６２へ出力される。

また、２台のＣＣＤカメラ６８は一対のドアミラー、フロントグリルの両端部等、車幅方向に離間した位置に、各々自車両の前方を撮像可能に配置されており、画像処理装置６６には、２台のＣＣＤカメラ６８が自車両の前方を撮像することで得られた画像が各々入力される。画像処理装置６６は、レーダ装置６４から入力された個々の監視対象物との相対位置関係等の情報に基づいて、ＣＣＤカメラ６８から入力された画像のうち個々の監視対象物に相当する画像部を認識する。そして、認識した画像部の前記画像上での全体位置及び車両左右方向に沿った端部の位置に基づき、三角測量の原理により個々の監視対象物の中心位置及び幅寸法を検出する。画像処理装置６６は上記処理を一定周期（例えば数十ｍｓｅｃ）で繰り返すことで、レーダ装置６４と同様に特定の前方存在物を追従監視すると共に、個々の監視対象物の中心位置及び幅寸法の検出結果を、プリクラッシュ制御ＥＣＵ６２の要求に応じてプリクラッシュ制御ＥＣＵ６２へ出力する。

なお、２台のＣＣＤカメラ６８は何れもカラー画像を撮像可能なカメラであり、画像処理装置６６は監視対象物又はその一部分の色彩等を認識することも可能とされ、例えば監視対象物が車両である場合、当該車両のブレーキランプやハザードランプ、方向指示ランプ等の表示灯の点灯状態を認識可能とされている。本実施形態では、画像処理装置６６は監視対象物が自車両の前方を同方向へ走行している先行車両である場合に、当該先行車両のブレーキランプの点灯を検知すると、ブレーキランプが点灯したことを表す情報もプリクラッシュ制御ＥＣＵ６２へ送信する。

一方、プリクラッシュ制御ＥＣＵ６２は、レーダ装置６４から入力される個々の監視対象物との相対位置関係や相対速度等、画像処理装置６６から入力される個々の監視対象物の中心位置及び幅寸法等の情報に基づき、自車両の前方に存在する前方存在物と自車両との相対位置関係等を把握しつつ、前方存在物までの到達距離や到達時間を演算して衝突等の緊急状態に至る可能性を予測判断し、車両が緊急状態に至る可能性が高いことが予測される場合には、介入ブレーキ制御ＥＣＵ４４、ウェビング巻取ＥＣＵ４８及びエアバッグＥＣＵ５２へプリクラッシュ制御信号を出力すると共に、例えばインストルメントパネルに設けられたワーニングランプを点灯或いは点滅させたり、ブザーの鳴動や案内メッセージを音声で発する等により、車両が緊急状態に至る可能性が高いことを運転者に警告するプリクラッシュ制御処理を行う。なお、本実施形態に係るプリクラッシュ制御ＥＣＵ６２は、運転者がよそ見をしていることが走行支援ＥＣＵ３２から通知されたか否かも考慮して、上記の緊急状態に至る可能性の予測判断を行う。

プリクラッシュ制御ＥＣＵ６２からプリクラッシュ制御信号が入力された場合、介入ブレーキ制御ＥＣＵ４４は運転者によるブレーキ操作が行われていなければ介入ブレーキ制御ＡＣＴ４６を制御して車両を制動・減速させ、ウェビング巻取ＥＣＵ４８はウェビング巻取ＡＣＴ５０を制御してウェビングを巻き取ることで乗員保護力を強化し、エアバッグＥＣＵ５２はエアバッグの展開の可否を規定する閾値をより小さい値へ変更することで、車両が緊急状態に至ったときのエアバッグの展開タイミングを早くさせる。上記のプリクラッシュ制御により、車両が衝突などの緊急状態に至ったときに、より確実に乗員を保護することができる。なお、上記のように介入ブレーキ制御ＥＣＵ４４及び介入ブレーキ制御ＡＣＴ４６は請求項５に記載の車両制御装置に、ウェビング巻取ＥＣＵ４８、ウェビング巻取ＡＣＴ５０、エアバッグＥＣＵ５２を含むエアバッグ装置は請求項５に記載の乗員保護装置に対応している。

次に本実施形態の作用として、まず走行支援ＥＣＵ３２によって一定時間周期で繰り返し実行される顔向き判定処理について、図３を参照して説明する。なお、顔向き判定処理では、後述のように運転者の顔の向きθ_Dに応じて運転者正面視フラグに０又は１を代入するが、この運転者正面視フラグは初期値が０とされており、例えば車両のイグニッションスイッチがオンされた等のタイミングで、初期値としての０が代入される。ステップ８０では、顔向き検出部２４で検出された運転者の顔の向きθ_Dを出力するよう顔向き検出部２４へ要請し、顔向き検出部２４から出力された運転者の顔の向きθ_Dを第２バス１４を介して取得する。次のステップ８２では、ステップ８０で顔向き検出部２４から取得した運転者の顔の向きθ_Dが、顔向き検出部２４で正常に検出された値か否か判定する。

ＣＣＤカメラ２６による運転者の顔の撮像における照明条件は車両の走行に伴って時々刻々変化するため、顔向き検出部２４による運転者の顔の向きθ_Dの検出においても、例えば運転者の顔の外縁に相当するエッジが抽出できない等のように、運転者の顔の向きθ_Dを正しく検出できない状態が一時的に生ずることがある。顔向き検出部２４は、検出した運転者の顔の向きθ_Dの精度が低いと推定される場合、検出した運転者の顔の向きθ_Dと共に、正しく検出できていない可能性があることを表す所定情報を出力する。ステップ８２の判定は、運転者の顔の向きθ_Dと共に上記所定情報を顔向き検出部２４から受信したか否かを判断することで行っており、顔向き検出部２４から上記の所定情報を受信した場合にはステップ８２の判定が否定されてステップ９６へ移行し、運転者正面視フラグに０を代入する。また、顔向き検出処理では顔向き検出部２４から取得した運転者の顔の向きθ_Dを所定時間（詳しくは後述する時間ｔ₁,ｔ₂,ｔ₃のうちの最大値）に亘ってメモリに記憶しているが、次のステップ９８では、メモリに記憶している運転者の顔の向きθ_Dを全てクリアし、顔向き判定処理を終了する。

また、顔向き検出部２４から運転者の顔の向きθ_Dのみを受信した場合（上記の所定情報を受信しなかった場合）には、ステップ８２の判定が肯定されてステップ８４へ移行し、まず受信した運転者の顔の向きθ_Dをメモリに記憶させた後に、時間ｔ₃前から現在迄にメモリに記憶している運転者の顔の向きθ_Dの絶対値が何れも閾値thＢ以上か否かを判断することで、|θＤ|≧thＢの状態（運転者の顔が車両の前方を向いていない状態）が時間ｔ₃以上継続しているか否か判定する。ステップ８４の判定が否定された場合は何ら処理を行うことなくステップ８８へ移行するが、ステップ８４の判定が肯定された場合は運転者がよそ見をしている状態が時間ｔ₃以上継続していると判断できるので、次のステップ８６において、運転者がよそ見している状態が継続していることを第１バス１２を介してプリクラッシュ制御ＥＣＵ６２へ通知する。

運転者がよそ見している状態が継続しているか否かは、車両が緊急状態に至る可能性に影響を与える事象であり、運転者がよそ見している状態が継続していることが走行支援ＥＣＵ３２から通知された場合、プリクラッシュ制御ＥＣＵ６２は、ワーニングランプを点灯或いは点滅させたり、ブザーを鳴動させたり、案内メッセージを音声で発する等によって運転者へ警告を発すると共に、車両が緊急状態に至る可能性が高いことが予測される場合に、プリクラッシュ制御信号を、通常時（運転者がよそ見している状態が継続していることが通知されていない場合）よりも早いタイミングで介入ブレーキ制御ＥＣＵ４４、ウェビング巻取ＥＣＵ４８及びエアバッグＥＣＵ５２へ出力する。

このように、運転者がよそ見している状態が継続しているか否かに応じてプリクラッシュ制御信号を出力するタイミングを切り替えることで、運転者がよそ見している状態が継続している場合には、運転者によるブレーキ操作が行われていない場合の介入ブレーキ制御ＥＣＵ２２による介入ブレーキ制御ＡＣＴ２４経由での車両の制動・減速、ウェビング巻取ＥＣＵ２６によるウェビング巻取ＡＣＴ２８経由でのウェビングの巻き取り、エアバッグＥＣＵ５２によるエアバッグの展開の可否を規定する閾値の変更がより早期に行われることになるので、車両が衝突などの緊急状態に至ったときに、より確実に乗員を保護することができる。

一方、顔向き判定処理では、次のステップ８８において、時間ｔ₁前から現在迄にメモリに記憶している運転者の顔の向きθ_Dの絶対値が何れも閾値thＡ未満か否かを判断することで、|θＤ|＜thＡの状態（運転者の顔が車両の前方を向いている状態）が時間ｔ₁以上継続しているか否か判定する。ステップ８８の判定が肯定された場合はステップ９２へ移行し、運転者正面視フラグに１を代入して顔向き判定処理を終了する。なお、運転者正面視フラグに１を代入することは運転者の顔が車両の前方を向いていると判定することに相当しており、上記のステップ８８，９２は請求項３に記載の顔向き判定手段に対応している。

また、ステップ８８の判定が否定された場合はステップ９０へ移行し、時間ｔ₂前から現在迄にメモリに記憶している運転者の顔の向きθ_Dの絶対値が何れも閾値thＡ以上か否かを判断することで、|θＤ|≧thＡの状態（運転者の顔が車両の前方を向いていない状態）が時間ｔ₂以上継続しているか否か判定する。ステップ９０の判定が肯定された場合はステップ９４へ移行し、運転者正面視フラグに０を代入して顔向き判定処理を終了する。なお、運転者正面視フラグに０を代入することは運転者の顔が車両の前方を向いていると判定することに相当しており、上記のステップ９０，９４は請求項４に記載の顔向き判定手段に対応している。

また、ステップ９０の判定が否定された場合は何ら処理を行うことなく顔向き判定処理を終了する。この場合、運転者正面視フラグは値が変更されることなくそれ迄の値に維持される。なお、上述したステップ８８，９０では同一の閾値thＡを用いて判定を行っているが、これに代えて閾値thＡの値を相違させてもよい。また時間ｔ₁,ｔ₂として同一の値を用いて判定を行ってもよい。

続いて、ナビＥＣＵ２２によって一定時間周期で繰り返し実行されるナビゲーション装置制御処理について、図４を参照して説明する。ステップ１００では、対地車速センサ４２によって検出される自車両の車速Ｖを第１バス１２を介して取り込む。次のステップ１０２では、自車両の車速Ｖが０km/hよりも大きいか否か、すなわち自車両が走行中か否か判定する。この判定が否定された場合は自車両が停車しているので、ステップ１１４へ移行し、自車両の乗員が操作部２０を介してナビゲーション装置１６を操作することを受け付ける操作受付状態へ遷移するようナビゲーション装置１６へ指示し、ナビゲーション装置制御処理を終了する。この操作受付状態において、ナビゲーション装置１６は操作部２０を介して何らかの操作が行われる毎に、操作部２０を介して行われた操作に応じた処理を行い、処理結果に応じてディスプレイ１８に表示している画像等の情報を切り替える。この場合、操作者が運転者か運転者以外の乗員かに拘わらずナビゲーション装置１６に対する操作が可能となり、例えばナビゲーション装置１６に目的地を設定する等の複雑な操作を運転者が行うことも可能となる。

一方、車両が走行中の場合はステップ１０２の判定が肯定されてステップ１０４へ移行し、走行支援ＥＣＵ３２で設定される運転者正面視フラグの現在の値を送信するよう走行支援ＥＣＵ３２へ要請し、走行支援ＥＣＵ３２から送信された運転者正面視フラグの現在の値を第１バス１２を介して受信する。またステップ１０６では、エアバッグＥＣＵ５２に接続された助手席乗員検出センサ６０による助手席乗員の検出結果を送信するようエアバッグＥＣＵ５２へ要請する。これにより、エアバッグＥＣＵ５２は助手席乗員検出センサ６０から助手席乗員の検出結果を取り込んでナビＥＣＵ２２へ送信し、ナビＥＣＵ２２はエアバッグＥＣＵ５２から送信された助手席乗員の検出結果を第１バス１２を介して受信する。

ステップ１０８では、先のステップ１０４で走行支援ＥＣＵ３２から受信した運転者正面視フラグの値が１以外（すなわち０）か否か判定する。運転者正面視フラグの値が０の場合、現在は運転者の顔が車両の前方を向いていない状態であり、運転者がナビゲーション装置１６を操作しようとしている可能性があり、ナビゲーション装置１６を操作している途中で運転者の注意が散漫となってしまう恐れがあるので、ナビゲーション装置１６に対する乗員の操作を受け付けてしまうことは車両の安全確保上望ましくない。このため、ステップ１０８の判定が肯定された場合はステップ１１２へ移行し、自車両の乗員が操作部２０を介してナビゲーション装置１６を操作しようとしてもこれを受け付けない操作受付禁止状態へ遷移するようナビゲーション装置１６へ指示し、ナビゲーション装置制御処理を終了する。

この操作受付禁止状態において、ナビゲーション装置１６は操作部２０を介して何らかの操作が行われても、当該操作を無視し（当該操作に応じた処理を行わず）、ディスプレイ１８に表示している画像等の情報の切り替えも行わない。なお、操作受付禁止状態であることを、ディスプレイ１８に表示したメッセージ又は音声によって通知するようにしてもよい。この場合、操作者が運転者か運転者以外の乗員かに拘わらずナビゲーション装置１６に対する操作は受け付けされないことになるが、運転者がナビゲーション装置１６を操作しようとして運転者の注意が散漫となってしまうことは防止することができ、自車両の安全を確保することができる。

また、運転者正面視フラグの値が１の場合はステップ１０８の判定が否定されてステップ１１０へ移行し、先のステップ１０６でエアバッグＥＣＵ５２から受信した助手席乗員の検出結果に基づいて自車両の助手席に乗員が存在していないか否か判定する。ステップ１１０の判定が肯定された場合、運転者正面視フラグの値は１であるので、現在は運転者の顔が車両の前方を向いている状態であると判断できるものの、車両走行中に車両の安全性に悪影響を与えることなくナビゲーション装置１６を操作できる乗員（助手席に着座している乗員）が存在していないので、安全性の確保を最優先するためにステップ１１２へ移行し、操作受付禁止状態へ遷移するようナビゲーション装置１６へ指示する。これにより、自車両の安全を確保することができる。なお、ステップ１１０の判定及び当該判定が肯定された場合の処理は請求項２に記載の制御手段に対応している。

またステップ１１０の判定が否定された場合、運転者の顔が車両の前方を向いている状態であるので、運転者がナビゲーション装置１６の操作を行う可能性はないと判断できる一方で、車両走行中に車両の安全性に悪影響を与えることなくナビゲーション装置１６を操作できる乗員（助手席に着座している乗員）が存在しているので、助手席に着座している乗員がナビゲーション装置１６を操作することを可能とするために、ステップ１１４へ移行して操作受付状態へ遷移するようナビゲーション装置１６へ指示する。これにより、助手席に着座している乗員がナビゲーション装置１６を操作することが可能となり、助手席に着座している乗員の利便性を向上させることができる。

また、車両が走行中の場合、ナビゲーション装置１６は運転者正面視フラグが１のとき（ステップ１０８の判定が否定されたとき）にのみ操作受付状態へ遷移するが、前述のように運転者正面視フラグは、運転者の顔が車両の前方を向いている状態が時間ｔ₁以上継続した場合に１に設定されるので、運転者の顔が一時的に車両の前方を向いたとしても運転者正面視フラグに１が設定されることはなく、運転者正面視フラグが１の場合には運転者が車両の運転に確実に専念していると判断することができる。従って、助手席に着座している乗員が存在している場合（ステップ１１０の判定が否定された場合）にナビゲーション装置１６を操作受付状態へ遷移させても車両の安全性は確保される。

更に、走行支援ＥＣＵ３２では前述した顔向き判定処理（図３）を一定時間周期で繰り返し実行しており、運転者の顔が車両の前方を向いていない状態が時間ｔ₂以上継続すると運転者正面視フラグに０が設定されると共に、ナビＥＣＵ２２も上述したナビゲーション装置制御処理（図４）を一定時間周期で繰り返し実行しており、車両走行中に運転者正面視フラグが０になると直ちにナビゲーション装置１６を操作受付禁止状態へ遷移させるので、車両走行中に運転者がナビゲーション装置１６を操作することを確実に防止することができる。また、例えばドアミラーによる後方確認等のように、通常の運転操作の範囲内でも運転者の顔が一時的に車両の前方とは異なる方向を向くことがあるが、運転者正面視フラグは、運転者の顔が車両の前方を向いていない状態が時間ｔ₂以上継続すると０が設定されるので、操作受付状態のナビゲーション装置１６を助手席に着座している乗員が操作している状況で、運転者が上記の後方確認等を行ったのみでナビゲーション装置１６が操作受付禁止状態へ遷移することはなく、助手席に着座している乗員がナビゲーション装置１６を円滑に操作することができる。

また、本実施形態に係る車載システム１０では、顔向き検出部２４によって検出された運転者の顔の向きθＤに基づき、走行支援ＥＣＵ３２によって運転者がよそ見をしている状態が継続しているか否かも判定され、判定結果がプリクラッシュ制御ＥＣＵ６２に通知されてプリクラッシュ制御に用いられると共に、乗員検出手段としての助手席乗員検出センサ６０による助手席乗員の検出結果はエアバッグＥＣＵ５２による制御にも用いられる構成であり、顔向き検出部２４や助手席乗員検出センサ６０等を複数設ける必要がないので、車載システム１０全体としての構成を簡単にすることができ、車載システム１０のコストを低減することができる。なお、上記事項は請求項５及び請求項６記載の発明に対応している。

なお、上記では運転者の顔が車両の前方を向いているか否かを判定して運転者正面視フラグを設定する態様を説明したが、車両旋回時には運転者の顔が車両の旋回方向（進行方向）を向くのが自然な運転操作であることを考慮すると、車両の操舵輪の操舵角を検出して車両の進行方向を判断し、助手席に乗員が着座している場合、運転者の顔が車両の進行方向を向いている間はナビゲーション装置１６を操作受付状態にするようにしてもよい。また、運転者の顔が、運転席から見てディスプレイ１８が存在している方向と逆方向を向いている場合には、運転者によってナビゲーション装置１６が操作される可能性はないと判断できるので、運転者の顔が車両の前方又は進行方向を向いていない場合に、その方向が運転席から見てディスプレイ１８が存在している方向か逆方向かを判定し、判定結果に応じてナビゲーション装置１６の状態（操作受付状態／操作受付禁止状態）を切り替えるようにしてもよい。

また、上記では本発明に係る車載機器としてナビゲーション装置１６を例に説明したが、本発明はこれに限定されるものではなく、テレビ放送の映像やＤＶＤ等の記録媒体に記録された映像をディスプレイに表示させる映像表示装置、指定されたウェブページのデータを携帯電話機等の無線通信装置を介して受信してディスプレイに表示させる情報表示装置、或いはナビゲーション装置や上記装置の機能を兼ね備えた車載機器を適用することも可能である。ディスプレイに映像を表示させる場合、表示させた映像を運転者が注視するのみでも運転者の注意が散漫となる可能性があるので、車両走行中に運転者の顔が車両の前方又は進行方向を向いていない場合には、ディスプレイに表示させていた映像を消去させる、或いは映像（動画像）に代えて静止画像をディスプレイに表示させる等により、ディスプレイに表示した映像を運転者が注視することを阻止すると共に、車両走行中には運転者の顔が車両の前方又は進行方向を向いていると判定されている間のみディスプレイに映像を表示することで、運転者以外の乗員が車両走行中に映像を視聴することを可能としてもよい。

また、上記では運転者以外の乗員として助手席に着座している乗員を検出する態様を説明したが、本発明はこれに限定されるものでもなく、例えばリモートコントーラ、或いは後席に別途設けられた操作部を介して後席に着座している乗員が車載機器を操作することが可能である場合や、前席用のディスプレイと同一の情報を表示する後席専用のディスプレイ１８が別途設けられている場合には、後席に着座している乗員の有無も検出し、車両走行中で運転者の顔が車両の前方又は進行方向を向いていると判定されている間、後席に着座している乗員が存在している場合にも、当該乗員が車載機器を操作したりディスプレイに表示された情報を視聴可能としてもよい。

本実施形態に係る車両制御システムの概略構成を示すブロック図である。車両のインストルメントパネル周辺の斜視図である。走行支援ＥＣＵによって実行される顔向き判定処理の内容を示すフローチャートである。ナビＥＣＵによって実行されるナビゲーション装置制御処理の内容を示すフローチャートである。

符号の説明

１０車載システム
１６ナビゲーション装置
１８ディスプレイ
２０操作部
２２ナビＥＣＵ
２４顔向き検出部
２６ＣＣＤカメラ
２８画像処理装置
３２走行支援ＥＣＵ
４２対地車速センサ
５２エアバッグＥＣＵ
６０助手席乗員検出センサ
６２プリクラッシュ制御ＥＣＵ

Claims

車両の運転席から見て当該車両の前方とは異なる方向に配置された表示手段に情報を表示する車載機器が搭載された前記車両の運転者の顔が、前記車両の前方又は進行方向を向いているか否かを判定する顔向き判定手段と、
前記車両が走行中か否かを検出する走行検出手段と、
前記走行検出手段によって前記車両が走行中であることが検出されている場合に、前記顔向き判定手段によって前記運転者の顔が前記車両の前方又は進行方向を向いていると判定されている間のみ、前記車両の運転者以外の乗員による前記車載機器に対する操作又は前記車載機器の前記表示手段に表示された情報の視聴が可能となるように前記車載機器を制御する制御手段と、
を含む車載機器制御装置。
前記車両の前記運転者以外の乗員の有無を検出する乗員検出手段を更に備え、
前記制御手段は、前記乗員検出手段によって前記運転者以外の乗員の存在が検出されていない場合には、前記走行検出手段によって前記車両が走行中であることが検出されている間、前記顔向き判定手段によって判定された前記運転者の顔の向きに拘わらず、前記車載機器に対する操作又は前記車載機器の前記表示手段に表示された情報の視聴が不可となるように前記車載機器を制御することを特徴とする請求項１記載の車載機器制御装置。
前記顔向き判定手段は、前記運転者の顔の向きを繰り返し検出し、前記運転者の顔が前記車両の前方又は進行方向を向いている状態が第１の所定時間以上継続した場合に、前記運転者の顔が前記車両の前方又は進行方向を向いていると判定することを特徴とする請求項１記載の車載機器制御装置。
前記顔向き判定手段は、前記運転者の顔の向きを繰り返し検出し、前記運転者の顔が前記車両の前方又は進行方向を向いていない状態が第２の所定時間以上継続した場合に、前記運転者の顔が前記車両の前方又は進行方向を向いていないと判定することを特徴とする請求項１記載の車載機器制御装置。
前記車両には、車両が緊急状態に至る可能性を左右する所定の事象を検出して車両が緊急状態に至る可能性を予測判断し、車両が緊急状態に至る可能性が高いと予測した場合に警報を発すると共に、車両制御装置及び乗員保護装置を作動させるプリクラッシュセーフティ装置が搭載されており、前記顔向き判定手段による前記運転者の顔の向きの判定結果は、前記所定の事象の１つとして前記プリクラッシュセーフティ装置にも入力されることを特徴とする請求項１記載の車載機器制御装置。
前記車両には、車両の減速度が閾値以上の場合に、前記車両の複数の座席に対応して各々設けられたエアバッグのうち、乗員が着座している座席に対応するエアバッグを展開させるエアバッグ装置が搭載されており、前記乗員検出手段による検出結果は前記エアバッグ装置にも入力されることを特徴とする請求項２記載の車載制御装置。