JP2009122808A - 車両用運転支援装置 - Google Patents

Abstract

【課題】この発明は、パターンマッチング処理に使用されるパターンマッチング用のデータベースの充実を図り、ひいては障害物の認識精度向上を実現させることができる車両用運転支援装置を提供することを目的とする。
【解決手段】運転者の視線または顔向きを検出する（Ｓ６）視線方向検出手段と、上記障害物報知手段により報知の対象とされた障害物の方向と、上記運転者の視線方向とが一致していない頻度を示す不一致頻度、または不一致継続時間に基づいて視線方向の不一致レベルを検出する（Ｓ８）不一致レベル検出手段と、視線方向の不一致レベルが所定値以上である時、上記運転者の視線方向の障害物を新たなパターンマッチング用データとして追加記憶する（Ｓ１３、Ｓ１６）記憶手段とを備える。
【選択図】図６

Description

この発明は、車両用運転支援装置に関し、特に、運転者に障害物との衝突を回避させるため障害物の存在を運転者に報知させる車両用運転支援装置に関する。

従来より、車両用運転支援装置として、車両前方に障害物がある場合に所定距離まで近づいた際に、警報等を行い、運転者に注意を促すように構成したものが知られている。

そして、近年では、このようなシステムにおいて予め複数のモデル画像を用意しておき、このモデル画像と、車載カメラ等で撮影した画像とを比較する所謂パターンマッチング処理を実行することにより、障害物を検出するようにしているものがある（特許文献１参照）。

特開２００７−５８８０５号公報

しかしながら、このような方法において障害物を検出する場合、様々な走行環境に応じて種々の障害物のパターンを事前に全て想定し、これを車載制御装置内のデータベースに蓄積しておくことは極めて困難である。

従って、予め用意されたモデル画像のいずれにも当てはまらない障害物が現れる可能性もあり、こういった事情から障害物の認識精度を向上させることができないという問題がある。

この発明は、パターンマッチング処理に使用されるパターンマッチング用のデータベースの充実を図り、ひいては障害物の認識精度向上を実現させることができる車両用運転支援装置を提供することを目的とする。

この発明の車両用運転支援装置は、障害物の存在を運転者に報知させる車両用運転支援装置であって、障害物を、記憶されているパターンマッチング用データと比較することで検出し、運転者の視線を上記障害物方向へ向けるように報知する障害物報知手段と、運転者の視線または顔向きを検出する視線方向検出手段と、上記障害物報知手段により報知の対象とされた障害物の方向と、上記運転者の視線方向とが一致していない頻度を示す不一致頻度、または不一致継続時間に基づいて視線方向の不一致レベルを検出する不一致レベル検出手段と、視線方向の不一致レベルが所定値以上である時、上記運転者の視線方向の障害物を新たなパターンマッチング用データとして追加記憶する記憶手段とを備えるものである。

この構成によれば、報知の対象とされた障害物の方向と、運転者の視線方向との不一致レベルが所定値以上である時、運転者の視線方向の障害物を新たなパターンマッチング用データとして追加記憶するようにしたため、パターンマッチング用データの蓄積によってデータベースの充実を図ることができ、ひいては障害物認識精度を向上させることができる。
なお、本発明において、「不一致頻度」とは、単位時間当たりに視線方向の不一致が生じた回数を意味する。

この発明の一実施態様においては、車両周辺を撮影する撮像手段と、上記不一致レベルが所定値以上である時に撮影した撮影画像を運転者に提示する手段と、追加記憶の要否を運転者に判定させる手段とを備え、上記追加記憶に関する処理を、上記判定の結果に基づいて実行するものである。

この構成によれば、運転者にとって必要と思われるパターンマッチング用データのみを記憶させることができ、これにより障害物認識の精度を向上させることができる。

この発明の一実施態様においては、車両周辺を撮影する撮像手段と、上記不一致レベルが所定値以上である時に撮影した撮影画像を運転者に提示する手段とを備え、上記追加記憶時には、運転者に提示した撮影画像に含まれる視線方向の障害物画像とともに、該障害物の危険度判定結果が併せて記憶されるものである。

この構成によれば、パターンマッチング時に危険度を併せて判定することが可能になるため、障害物の認識精度を向上させることができ、危険度に応じた報知が可能になる。

この発明の一実施態様においては、上記危険度の判定が、運転者によりなされるものである。

この構成によれば、危険度をより正確に認識させることが可能になり、これによって障害物の認識精度をより向上させることができる。

この発明の一実施態様においては、車両周辺を撮影する撮像手段と、上記不一致レベルが所定値以上である時に撮影した撮影画像を運転者に提示する手段とを備え、上記追加記憶時には、運転者に提示した撮影画像に含まれる視線方向の障害物画像とともに、該障害物の種別判定結果が併せて記憶されるものである。

この構成によれば、種別の特徴に応じた障害物認識が可能になり、その認識精度の向上を図ることができる。

この発明の一実施態様においては、上記種別の判定が、運転者によりなされるものである。

この構成によれば、種別をより正確に認識させることが可能になり、これによって障害物の認識精度をより向上させることができる。

この発明の一実施態様においては、上記運転者への画像提示が、上記不一致レベルが所定値以上となった後の最初の車両停止時に実行されるものである。

この構成によれば、車両運転中における表示内容の確認を確実に回避し、運転時の安全を確保することができる。さらに、運転者が障害物の存在を忘れないうちに、追加記憶に関する処理を実行することができる。

この発明の一実施態様においては、上記追加記憶時に、上記不一致レベルが所定値以上となった時の車両走行環境が併せて記憶され、上記パターンマッチング用データの読み出し時、該データが走行環境に応じて読み出されるものである。

この構成によれば、走行環境の変化に応じて認識に使用するパターンマッチング用データを読み出すことにより、障害物認識をきめ細かく行うことが可能になり、これによって障害物認識精度を向上させることができる。

この発明によれば、報知の対象とされた障害物の方向と運転者の視線方向との不一致レベルが所定値以上である時、運転者の視線方向の障害物を新たなパターンマッチング用データとして追加記憶するようにしたため、パターンマッチング用データの蓄積によってデータベースの充実を図ることができ、ひいては障害物認識精度を向上させることができる。

以下、図面に基づいて本発明の実施形態を詳述する。
図１は本発明の実施形態に係る車両用運転支援装置を採用した自動車の概略模式図、図２は車両用運転支援装置のシステムブロック図、図３は障害物の方向と運転者の視線方向とを比較する方法を説明するための説明図、図４は運転者の視線方向の障害物画像を抽出する方法を説明するフローチャート、図５は運転者の視線方向の障害物画像をパターンマッチング用データとして追加記憶する方法を説明するフローチャート、図６は、運転者の視線方向の障害物画像をパターンマッチング用データとして追加記憶する際の表示例を示す図である。

図１に示すように、自動車１には複数のセンサ装置を設置しており、車両速度を検出する車速センサ２と、車両前方の障害物を検出する障害物検出用カメラ３と、走行環境を検出する環境検出センサとしての雨滴センサ４と、運転者の視線方向を検出する視線検出センサ５とを備えている。

障害物検出用カメラ３は、車室前部のサンバイザー（不図示）近傍に備えられた公知のステレオカメラであり、自動車１の周辺（特に前方）を撮像し、その結果得られたステレオ画像データの中から、接触を避けるべき他車両や歩行者等の障害物を抽出・特定するものである。

また、自動車１は運転者への情報表示手段として、ウインドウディスプレイアクチュエータ６と、確認表示・入力操作兼用ディスプレイ７（以下、ディスプレイ７と略記する）とを備えている。

これらのセンサ（２、４、５）と、障害物検出用カメラ３と、情報表示手段（６、７）とは、図２のブロック図に示すように、ＣＰＵ等からなる制御装置１０にそれぞれ連結されており、各センサ（２、４、５）は各検出信号を制御装置１０に送信し、障害物検出用カメラ３は、撮影したステレオ画像データを制御装置１０に送信する。また、各情報表示手段（６、７）は、制御装置１０から送信された作動信号で所定の作動を行うように構成している。

車速センサ２は車両速度信号を制御装置１０に送信しており、雨滴センサ４は自動車１に接触する雨滴の圧力に基づいて降雨の状態を検出し、その検出信号を制御装置１０に送信している。

また、視線検出センサ５は、例えば、運転者の黒目の位置に基づいて視線を検出するものや、顔画像撮影カメラで運転者の顔を撮影することにより運転者の顔向きを検出し、そこから視線を検出するもので構成される。一般的に、前者はサンバイザー近傍に備えられ、後者はステアリングコラム（不図示）に備えられる。

また、視線検出センサ５は、視線の検出結果に対応する検出信号を制御装置１０に送信している。

また、ディスプレイ７は、運転者の操作により送信される操作信号を制御装置１０へ送信可能としている。

また、制御装置１０には、記憶装置８が連結されており、記憶装置８においては、後述する障害物画像データや付随データからなるパターンマッチング用データ等の各種データが制御装置１０により書込み、読み出し可能とされている。

また、制御装置１０は、障害物抽出処理部１１、障害物方向検出処理部１２、検出障害物表示処理部１３を備えている。障害物抽出処理部１１は、障害物検出用カメラ３からの画像データに基づいて自動車１の周辺（特に前方）に他車両、歩行者、二輪車等の障害物が存在することを検出する。

また、本実施形態では、障害物方向検出処理部１２が、障害物検出用カメラ３から得られる画像データに基づいて、自動車１の進行方向と、検出された障害物Ｉ１（図３参照）の方向との角度差θＡ、即ち、自動車１から見える障害物の方向が検出されるようになっている。

また、障害物Ｉ１が検出された時には、運転者への警告を行うべく、検出障害物表示処理部１３が作動する。この時、検出障害物表示処理部１３は、ウインドウディスプレイアクチュエータ６に対して作動信号を送信し、ウインドウディスプレイアクチュエータ６は、この作動信号に基づいてフロントウインドウ９（図１参照）上に警告表示を行う。

具体的には、ウインドウディスプレイアクチュエータ６が上記作動信号を受信すると、フロントウインドウ９に対して警告表示用の所定の光を照射するようになっている。例えば、車両前方に存在する障害物の像の周囲を囲むような枠状の光をフロントウインドウ９上に重ね合わせることで、運転者の視線を障害物のほうへ向けるようにしており、これによって障害物Ｉ１の存在を報知し、警告を行うようになっている。

ところで、本実施形態では、記憶装置８において、障害物の特徴（例えば、色、エッジ情報、輝度分布、縦横比、距離分布等）を反映したモデル画像（以下、パターンマッチング用データという）が複数パターン記憶されており、障害物抽出処理部１１は、障害物検出用カメラ３により撮影された画像データと、上記パターンマッチング用データとを比較することにより、画像中の障害物を検出している。

さらに、本実施形態では、制御装置１０に備えられた方向比較処理部１４が、視線検出センサ５から送信される検出信号を運転者視線方向検出処理部１５を介して受信している。方向比較処理部１４は、視線検出センサ５により検出された運転者の視線方向と、障害物方向検出処理部１２により検出され、報知の対象とされた障害物Ｉ１の方向とを比較するようになっている。

そして、両者の比較により、方向のずれが所定以上であると判定された時、運転者の視線方向と障害物Ｉ１の方向との不一致により、運転者がよそ見をしていると判定するようになっている。そして、この視線方向の不一致レベルが、所定値を超えている時には、運転者の視線方向に存在する物体を障害物Ｉ２（図３参照）と推定し、これを新たなパターンマッチング用データとして追加記憶することができるようになっている。

そこで、次に、制御装置１０により実行される障害物画像抽出処理、及びパターンマッチング用データ追加記憶処理について、さらに図４、図５のフローチャートを参照しながら説明する。

先ず、ステップＳ１では、各種信号を読み込む。これらの信号は上述した各種センサ（２、４、５）、及び障害物検出用カメラ３等から読み込む。
次に、ステップＳ２では、障害物抽出処理部１１において、撮影された画像データと記憶装置８内のパターンマッチング用データとの比較による障害物認識処理が実行され、両者の一致度が所定値以上である時には、障害物が存在していると判定して（ステップＳ３：ＹＥＳ）、ステップＳ４に移行し、両者の一致度が所定値未満である時には、障害物が存在していないと判定して（ステップＳ３：ＮＯ）、ステップＳ２に戻る。

ステップＳ３において障害物が存在していると判定された時、ステップＳ４では、検出障害物表示処理部１３が、ウインドウディスプレイアクチュエータ６に対して作動信号を送信し、フロントウインドウ９（図１参照）上に警告表示を行う。

そして、ステップＳ５では、障害物方向検出処理部１２により、自動車１から見える障害物Ｉ１の方向が算出され、ここでは、自動車１の進行方向と、検出された障害物Ｉ１の位置する方向との角度差θＡが算出される。

次に、ステップＳ６に移行し、視線検出センサ５により検出された運転者の視線方向に基づき、制御装置１０に備えられた運転者視線方向検出処理部１５が、自動車１の進行方向と、検出された運転者の視線方向との角度差θＢ（図３参照）を算出する。

そして、ステップＳ７に移行し、上述したステップＳ５、Ｓ６にて算出された角度差θＡ、θＢの算出結果に基づき、方向比較処理部１４は、報知の対象とされた障害物Ｉ１の方向と、運転者の視線方向との間の相対的なずれを算出する。例えば、図３に示す場合であれば、自動車１の進行方向を見た時の左側を正の方向、右側を負の方向と定義し、上記両角度差の差の絶対値を算出する。図示の場合であれば、方向のずれ＝｜θＡ−（−θＢ）｜＝θＡ＋θＢとなり、結果的に両角度差の和となる。

そして、方向比較処理部１４においては、上述した方向のずれの程度の大小を判定するための閾値が予め設定されており、ステップＳ７では、上記方向のずれθＡ＋θＢと閾値αとの比較がなされる。ここで、この方向のずれθＡ＋θＢが閾値αを上回っている場合には（ステップＳ７：ＹＥＳ）、運転者の視線方向と障害物Ｉ１の方向とが一致しておらず、運転者がよそ見をしていると判定する一方、閾値α以下である場合には（ステップＳ７：ＮＯ）、運転者が障害物Ｉ１を視認していると判定し、ステップＳ２に戻る。

さらに、方向比較処理部１４は、ステップＳ７にて運転者がよそ見をしていると判定すると、ステップＳ８に移行し、視線方向の不一致レベルを判定する。具体的には、方向比較処理部１４は、視線方向の不一致頻度、即ち単位時間当たりに視線方向の不一致が生じた回数Ｎ、及び不一致状態が継続している時間Ｔとを計測しており、これらの数値Ｎ、Ｔの大小を上記不一致レベルとして定義している。

そして、方向比較処理部１４は、これらの数値Ｎ、Ｔを予め設定した閾値Ｎ０、Ｔ０と比較するようになっている。数値Ｎ、Ｔのいずれかが予め設定された閾値Ｎ０、Ｔ０を上回った時（ステップＳ８：ＹＥＳ）、警告対象として検出されなかった別の障害物が存在し、運転者はそれを注視している可能性があるとして、方向比較処理部１４は、上記不一致レベルが大であるとの判定結果を制御装置１０に備えられた仮登録処理部１６に送信する。

一方、数値Ｎ、Ｔのいずれもが、閾値Ｎ０、Ｔ０以下である時には（ステップＳ８：ＮＯ）、方向比較処理部１４は、上記不一致レベルが小であると判定してステップＳ６の処理に戻り、引き続き運転者の視線方向の算出処理を実行する。

ステップＳ８にて上記不一致レベルが大であると判定された時、仮登録処理部１６は、運転者の視線方向に基づいて、その時点の障害物検出用カメラ３の画像データ内から運転者が注視していた障害物Ｉ２（図３参照）を推定する。そして、この障害物Ｉ２を含む画像データを記憶装置８に仮登録保存する仮登録処理を実行する（ステップＳ９）。

また、仮登録処理部１６は、画像データとともに、雨滴センサ４等から走行環境検出処理部１７を介して走行環境に関する検出信号（例えば、降雨の状態や時間帯等の走行環境データ）を受信しており、ステップＳ９では、この検出信号が付随データとして保存される。

次に、上記仮登録処理が実行されると、ステップＳ１０に移行し、車速センサ２の検出信号に基づいて、車速が０であるか否か、即ち自動車１を運転していない停車状態であるか否かがが車両停止検出処理部１８を介して検出され、車速が０であると判定されると（ステップＳ１０：ＹＥＳ）、図５に示すステップＳ１１以降の処理に移行し、車速が０でないと判定されると（ステップＳ１０：ＮＯ）、ステップＳ２に戻る。

ここで、ステップＳ１０において車速が０であると判定された時、ステップＳ１１では、制御装置１０に備えられた仮登録画像表示判定処理部１９が、ディスプレイ７に対して所定の作動信号を送信し、図６（ａ）に示すように、ステップＳ９にて仮登録処理された、障害物Ｉ２を含む画像データを表示させる。

この時、ディスプレイ７においては、仮登録処理部１６により推定された障害物Ｉ２を枠状に囲むような表示がなされ、引き続き、図６（ｂ）に示すような画面に切替えられる。図６（ｂ）に示す表示画面では、上記画像データから障害物Ｉ２の画像データのみが抽出され、確認表示部７ａ内の表示部Ｘ１に表示されるとともに、この障害物Ｉ２に対応する付随データが表示部Ｘ２に表示される。

また、ディスプレイ７においては、仮登録画像表示判定処理部１９により、確認表示部７ａの他、正規登録操作入力部７ｂを構成するタッチパネル式の操作ボタン表示部Ｘ３、Ｘ４、Ｘ５が同時に表示されるようになっている。

ところで、記憶装置８においては、記憶された各障害物（パターンマッチング用データ）毎に、その障害物の危険度や種別が設定されている。種別としては、例えば、歩行者（子供）、歩行者（大人）、歩行者（高齢者）、二輪車等が挙げられ、歩行者（子供）→歩行者（高齢者）→歩行者（大人）→二輪車の順番で度数が低くなるように危険度が設定される。

ここで、図６（ｂ）において、正規登録操作入力部７ｂの表示部Ｘ２の「種別」欄には、「歩行者（子供）」がデフォルト表示され、「危険度」欄には、「１」がデフォルト表示されている。

運転者は、上述した付随データのうち、種別、危険度についての表示内容が障害物Ｉ２に正確に対応しているものか否かを判定することが許容され、その結果、デフォルト表示の内容が正確に対応しているものと判断すれば、「登録」との表示がなされた操作ボタン表示部Ｘ３を押圧操作する。

この時、制御装置１０内に備えられた正規登録判定処理部２０は、デフォルト表示の内容を変更する必要はないものと判定し、正規登録処理部２１は、この判定に基づいて障害物Ｉ２の画像データを新たなパターンマッチング用データとして追加記憶するようになっている。

具体的には、正規登録判定処理部２０は、ステップＳ１２において、運転者により操作ボタン表示部Ｘ３の操作がなされたか否かを検出するようになっている。そして、操作ボタン表示部Ｘ３の操作がなされたと判定すると（ステップＳ１２：ＹＥＳ）、ステップＳ１３に移行し、仮登録された画像データ、及びデフォルト表示の内容のままの付随データを記憶装置８に正規登録保存（追加記憶）する正規登録処理を実行して、後述するステップＳ１４に移行する。

これに対し、運転者は、デフォルト表示された内容が障害物Ｉ２に正確に対応していないものと判定すれば、「データ修正」との表示がなされた操作ボタン表示部Ｘ４を操作し、制御装置１０が障害物として検出をしたものの、障害物として認識する必要がないものと判定すれば、運転者は、「削除」との表示がなされた操作ボタン表示部Ｘ５を押圧操作する。

ここで、運転者は、デフォルト表示の内容が正確に対応していないものと判定すれば、その表示内容を操作ボタン表示部Ｘ４の操作により修正できるようになっている。正規登録判定処理部２０は、ステップＳ１２において、正規登録の操作がなされていないと判定すると（ステップＳ１２：ＮＯ）、ステップＳ１５に移行し、操作ボタン表示部Ｘ４による付随データの修正操作がなされたか否かを判定する。

正規登録判定処理部２０は、ステップＳ１５にて付随データの修正操作がなされたと判定すると（ステップＳ１５：ＹＥＳ）、ステップＳ１６に移行し、運転者により操作された内容に基づいて付随データを上書き修正する。そして、正規登録処理部２１は、障害物Ｉ２の画像データ及び修正後の付随データを記憶装置８に正規登録保存する正規登録処理を実行してステップＳ１４に移行する。

また、正規登録判定処理部２０は、ステップＳ１５にて付随データの修正操作がなされていないと判定すると（ステップＳ１５：ＮＯ）、運転者が残りの操作ボタン表示部Ｘ５を押圧操作したものと判定し、ステップＳ１７に移行する。ステップＳ１７では、正規登録判定処理部２０が、操作ボタン表示部Ｘ５の操作がなされた仮登録データの削除処理を実行してステップＳ１４に移行する。

このように、１つの仮登録データに対しては、ステップＳ１３、Ｓ１６、Ｓ１７のいずれかの処理が実行されることになるが、車両走行中において複数のデータが仮登録された場合には、各仮登録データに対して順次ステップＳ１３、Ｓ１６、Ｓ１７のいずれかの処理が実行される。

ステップＳ１４では、１つの仮登録データに対する上記処理が実行されると、全ての仮登録データがディスプレイ７上に表示されたか否かが逐一判定される。

ここで、未だ表示されていない仮登録データが存在し、全ての画像データに対する登録または削除の操作が終了していない場合（ステップＳ１４：ＮＯ）、ステップＳ１１に戻り、仮登録画像表示判定処理部１９が、未表示の次の仮登録データをディスプレイ７上に表示して、ステップＳ１１〜Ｓ１７の処理を繰り返す。そして、全ての画像データの表示がなされ、登録または削除の操作が終了した時（ステップＳ１４：ＹＥＳ）、処理がリターンされる。

なお、記憶装置８では、図２に示すように、既存登録データ領域と追加登録データ領域とが設定されている。既存登録データ領域は、自動車１の製造時にメーカー側で予め設定されたデータが記憶され、上述した追加記憶により記憶されるデータは、追加登録データ領域に蓄積されるようになっている。

従って、上述したステップＳ２の処理においては、既存登録データ、及びそれまでに追加登録された追加登録データの双方がパターンマッチング用データとして利用可能となっている。

以上のように、本実施形態では、報知の対象とされた障害物の方向と、運転者の視線方向との不一致レベルが所定値以上である時、運転者の視線方向の障害物Ｉ２を新たなパターンマッチング用データとして追加記憶するようにしたため、記憶装置８内のパターンマッチング用データの蓄積によってデータベースの充実を図ることができ、ひいては障害物認識精度を向上させることができる。

また、ステップＳ１２〜Ｓ１７において、仮登録データの追加登録の要否判定を運転者に行わせるようにし、上記追加記憶に関する処理を運転者の判定結果に基づいて行うようにしたことで、運転者にとって必要と思われるパターンマッチング用データのみを記憶させることができ、制御装置１０における障害物認識の精度を向上させることができる。

また、パターンマッチング用データを追加記憶するにあたり、ステップＳ２で記憶された走行環境に関する情報を付随データとして併せて記憶するようにしているが、これにより、パターンマッチング用データの読み出し時には、その時の走行環境に対応するパターンマッチング用データを絞り込んで読み出すことを可能にしている。

例えば、降雨時には、歩行者は傘をさしたり、雨合羽を着用したりするため、降雨時特有のパターンマッチング用データが必要になり、夕方、夜間であれば、障害物と周囲の風景との見分けがつきにくくなるという特別な事情が生じるため、時間帯に対応するパターンマッチング用データも必要となる。本実施形態では、このような走行環境の変化に応じて認識に使用するパターンマッチング用データを読み出すことで、障害物認識をきめ細かく行うことが可能になり、これによって障害物認識精度を向上させることができる。

また、ステップＳ１１において、運転者に視線方向不一致時の画像データを表示し、該画像データに含まれる障害物Ｉ２の危険度判定結果に関する付随データを記憶装置８に追加記憶するようにしたことで、パターンマッチング時には、危険度を併せて判定することが可能となり、これによって障害物の認識精度を向上させることができる。

このため、車両走行中に歩行者、自転車、バイク等の障害物が同時に現れた場合には、危険度の高い障害物から順番に警告表示したり、危険度の高いものを所定数だけ認識して警告したりする等、危険度に応じた報知が可能になる。

また、障害物Ｉ２の種別判定結果に関する付随データを記憶装置８に追加記憶するようにしたことで、パターンマッチング時には、種別の特徴に応じた障害物認識が可能となり、その認識精度を向上させることができる。

例えば、障害物が歩行者、自転車、バイクのいずれであったのか、さらには、歩行者の場合であれば、それが子供であるのか、乳母車やカート等を押しながら歩行している歩行者（保護者、高齢者等）であるのか等、種別の特徴に応じた障害物認識が可能になり、その認識精度の向上を図ることができる。

また、本実施形態では、ステップＳ１５、Ｓ１６において、運転者による上記各付随データの修正を可能にし、最終的には上記危険度や種別の判定が運転者によりなされるようにすることで、危険度、種別をより正確に認識させることが可能になり、これによって障害物の認識精度をより向上させることができる。

また、視線方向不一致時の画像データを仮登録した後のステップＳ１０において、最初に車速０であることが検出された時に、仮登録データの表示処理を実行するようにしているが、これにより、車両運転中における表示内容の確認を確実に回避し、運転時の安全を確保することができる。さらに、運転者が障害物の存在を忘れないうちに、追加記憶に関する処理を実行することができる。

なお、上述した実施形態では、仮登録処理部１６により障害物Ｉ２の存在を推定させ、このように推定された障害物Ｉ２の画像データを追加記憶の対象とするようにしているが、本発明は必ずしもこれに限定されるものではない。

例えば、図７、図８に示すように、タッチペン５０等の公知の入力インターフェースを別途備え、該タッチペン５０を用いてディスプレイ７に表示される画像データに対し、運転者が追加記憶の対象として障害物Ｉ２を直接指定することができるようにしてもよい。

この場合、運転者によりタッチペン５０でタッチされたディスプレイ７の座標を操作信号として、制御装置１０の仮登録画面表示判定処理部１９’へ送信可能としている。

運転者は、図８（ａ）に示すように、ディスプレイ７上で障害物Ｉ２を囲むような枠をタッチペン５０で描くことにより、障害物Ｉ２を追加記憶の対象として指定することができるようになっている。仮登録画面表示判定処理部１９’は、図８（ｂ）に示すように、タッチペン５０により描かれた枠内の画像を抽出して表示し、この抽出された画像データについて、追加記憶の要否を運転者に判定させる。

図９は運転者の視線方向の障害物画像をパターンマッチング用データとして追加記憶する他の方法を説明するフローチャートである。仮登録画面表示判定処理部１９’は、図５のステップＳ１１に対応するステップＳ５１の処理がなされた後、ステップＳ５２にて、運転者がタッチペン５０による障害物Ｉ２の指定を行ったか否かを判定する。そして、運転者が障害物Ｉ２の指定を行ったと判定すれば（ステップＳ５２：ＹＥＳ）、図５のステップＳ１２〜Ｓ１７に対応するステップＳ５３〜Ｓ５８の処理を実行し、障害物Ｉ２の指定を行っていなければ（ステップＳ５２：ＮＯ）、ステップＳ５２の処理を繰り返し、引き続き運転者によるタッチペン５０の操作状況を監視する。

ところで、上述した実施形態では、車速センサにより車速が０であることを検出した時に、仮登録データの表示処理を実行しているが、本発明は必ずしもこれに限定されない。例えば、運転時の安全性に対する配慮がさらに必要とされる場合には、信号待ち等の一時停止時における表示が回避されるようにしてもよく、例えばサイドブレーキ（不図示）の操作を検出するようにし、該検出結果に基づいてステップＳ１０に対応する処理を実行するようにしてもよい。

また、エンジン停止操作時にキーポジションがＡＣＣ（アクセサリ）となった状態を検出すると、キー操作を強制的に停止させるようにし、その状態下でステップＳ１１に対応する処理を実行するようにしてもよい。また、一旦エンジンを停止させた後、次にエンジン始動操作がなされた時に、ステップＳ１１に対応する処理を実行するようにしてもよい。

また、上述した実施形態では、正規登録操作入力部７ｂが、ディスプレイ７上に表示される操作ボタン表示部Ｘ３〜Ｘ５により構成されているが、例えばディスプレイ７の外枠部に専用の操作ボタンを配設するようにしてもよい。

また、ディスプレイ７に関しては、例えば自動車の走行経路を地図情報とともに表示しつつ、設定された目的地までの経路を案内するナビゲーション装置のディスプレイを兼用するものであってもよいし、専用のディスプレイを設けるようにしてもよい。

また、上述したナビゲーション装置を自動車１に備える場合、例えば、図１０に示すように、仮登録処理部１６が、走行環境検出処理部１７’を介してナビゲーション装置６０から検出信号を受信できるようにし、ナビゲーション装置６０から送信される車両の位置情報を付随データとして保存するようにしてもよい。

例えば、樹木に覆われている林道や、トンネル内のように日光が遮られた場所は、日中であっても常に暗く、このような場所を走行する際には、夕方、夜間と同様障害物と周囲の風景との見分けがつきにくい。そこで、上述したように、ナビゲーション装置６０からの位置情報データを付随データとして追加記憶すれば、ナビゲーション装置６０からの位置情報に基づき、自動車１が走行している場所の変化に応じてパターンマッチング用データを読み出すことが可能になり、これによって障害物認識精度を向上させることができる。

なお、図７〜図１０に示す他の実施形態において、図１〜図６を参照して説明した最初の実施形態と同様の構成要素については、同一符号を付して、その詳しい説明を省略する。

なお、上述した実施形態では、ステップＳ１６、Ｓ１７において、追加記憶される前の仮登録データとしてそのデータの修正、削除を行えるようにしているが、記憶装置８内の既存登録データに対してもこのような修正、削除が行えるようにしてもよい。

この発明の構成と、上述の実施形態との対応において、
この発明の障害物報知手段は、ウインドウディスプレイアクチュエータ６に対応し、
以下同様に、
視線方向検出手段は、視線検出センサ５に対応し、
不一致レベル検出手段は、ステップＳ８を実行する制御装置１０の方向比較処理部１４に対応し、
記憶手段は、記憶装置８に対応し、
撮像手段は、障害物検出用カメラ３に対応し、
撮影画像を運転者に提示する手段は、確認表示・入力操作兼用ディスプレイ７の確認表示部７ａに対応し、
追加記憶の要否を判定させる手段は、確認表示・入力操作兼用ディスプレイ７の正規登録操作入力部７ｂに対応するも、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。

本発明の実施形態に係る車両用運転支援装置を採用した自動車の概略模式図。 車両用運転支援装置のシステムブロック図。 障害物の方向と運転者の視線方向とを比較する方法を説明するための説明図。 運転者の視線方向の障害物画像を抽出する方法を説明するフローチャート。 運転者の視線方向の障害物画像をパターンマッチング用データとして追加記憶する方法を説明するフローチャート。 運転者の視線方向の障害物画像をパターンマッチング用データとして追加記憶する際の表示例を示す図。 本発明の他の実施形態に係る車両用運転支援装置のシステムブロック図。 運転者の視線方向の障害物画像をパターンマッチング用データとして追加記憶する際の操作例を示す図。 本発明の他の実施形態において、運転者の視線方向の障害物画像をパターンマッチング用データとして追加記憶する方法を説明するフローチャート。 本発明のさらに他の実施形態に係る車両用運転支援装置のシステムブロック図。

符号の説明

３…障害物検出用カメラ
５…視線検出センサ
６…ウインドウディスプレイアクチュエータ
７…確認表示・入力操作兼用ディスプレイ
８…記憶装置
１０…制御装置
１４…方向比較処理部
１９、１９’…仮登録画像表示判定処理部

Claims (8)

1. 障害物の存在を運転者に報知させる車両用運転支援装置であって、
   障害物を、記憶されているパターンマッチング用データと比較することで検出し、運転者の視線を上記障害物方向へ向けるように報知する障害物報知手段と、
   運転者の視線または顔向きを検出する視線方向検出手段と、
   上記障害物報知手段により報知の対象とされた障害物の方向と、上記運転者の視線方向とが一致していない頻度を示す不一致頻度、または不一致継続時間に基づいて視線方向の不一致レベルを検出する不一致レベル検出手段と、
   視線方向の不一致レベルが所定値以上である時、上記運転者の視線方向の障害物を新たなパターンマッチング用データとして追加記憶する記憶手段とを備える
   車両用運転支援装置。
2. 車両周辺を撮影する撮像手段と、
   上記不一致レベルが所定値以上である時に撮影した撮影画像を運転者に提示する手段と、
   追加記憶の要否を運転者に判定させる手段とを備え、
   上記追加記憶に関する処理を、上記判定の結果に基づいて実行する
   請求項１記載の車両用運転支援装置。
3. 車両周辺を撮影する撮像手段と、
   上記不一致レベルが所定値以上である時に撮影した撮影画像を運転者に提示する手段とを備え、
   上記追加記憶時には、運転者に提示した撮影画像に含まれる視線方向の障害物画像とともに、該障害物の危険度判定結果が併せて記憶される
   請求項１記載の車両用運転支援装置。
4. 上記危険度の判定は、運転者によりなされるものである
   請求項３記載の車両用運転支援装置。
5. 車両周辺を撮影する撮像手段と、
   上記不一致レベルが所定値以上である時に撮影した撮影画像を運転者に提示する手段とを備え、
   上記追加記憶時には、運転者に提示した撮影画像に含まれる視線方向の障害物画像とともに、該障害物の種別判定結果が併せて記憶される
   請求項１記載の車両用運転支援装置。
6. 上記種別の判定は、運転者によりなされるものである
   請求項５記載の車両用運転支援装置。
7. 上記運転者への画像提示が、上記不一致レベルが所定値以上となった後の最初の車両停止時に実行される
   請求項２〜６のいずれか一項に記載の車両用運転支援装置。
8. 上記追加記憶時には、上記不一致レベルが所定値以上となった時の車両走行環境が併せて記憶され、
   上記パターンマッチング用データの読み出し時、該データが走行環境に応じて読み出される
   請求項１記載の車両用運転支援装置。

Images