JP4258048B2

JP4258048B2 - Driving assistance device

Info

Publication number: JP4258048B2
Application number: JP36190998A
Authority: JP
Inventors: 修昭三木; 聖治榊原
Original assignee: Aisin AW Co Ltd
Current assignee: Aisin AW Co Ltd
Priority date: 1998-12-03
Filing date: 1998-12-03
Publication date: 2009-04-30
Anticipated expiration: 2018-12-03
Also published as: JP2000172996A

Description

【０００１】
【発明の属する技術分野】
本発明は、運転者の死角となる車両周辺の情報を撮像装置で取込み、取込み画像を車室内モニターで表示して、運転者の視界を補完するとともに、運転操作の助けとなる補助情報をスーパーインポーズする支援装置に関する。
【０００２】
【従来の技術】
自動車は運転者の四囲を囲む車体を持つことから、運転者の視界が窓部を除く車体部により遮られる死角部分を生じることは避け難いが、狭い道路上での特に背の低い障害物の回避や、移動する障害物に対する安全の確保上、死角の解消が望ましい。そこで、こうした死角部分の情報が間接的に得られるように、車両には、従来から、大型車両のアンダーミラーに代表されるような、死角解消手段が設置されている。また、近時の映像機器の高性能化と小型化に伴って、これを利用した装置も種々提案されている。こうした提案の中で、カメラで撮影した後方視界を運転席近傍のモニター画面に表示することで死角範囲をカバーし、かつ、ハンドル舵角に対応した後進予想軌跡をモニター画面に重畳して表示する軌跡表示手段を備えるものがある。そして、こうしたものにおいて、更に、上記後進予想軌跡を、車体後部の上方部付近の後進軌跡とすることで、障害物に対する回避識別を一層容易にしたものとして、特開平１−１６８５３８号公報に開示の技術がある。
【０００３】
【発明が解決しようとする課題】
ところで、上記提案の技術は、予想軌跡をハンドル舵角に対応して変化させるものであるため、ハンドルを一定量切った後の舵角の修正には有効に機能すると考えられるが、ハンドルを切る前や、途中でハンドルの切返しを伴うような操作での進路予測には役立たず、表示上の予想軌跡の変化が却って煩わしいものとなる場合がある。こうした操作の典型例として、路肩等への幅寄せ操作がある。この操作の場合、一般に、左側通行の道路では、前進又は後進状態で、ハンドルを左に若干切りながら車両を路肩に近づけ、適所でハンドルを右に切返し、最後に中央に戻す操作となるが、この場合の予想軌跡は、当初の左切り状態から右切り状態となるまでは路肩と交差する表示となり、幅寄せのための目安とはなり得ず、煩わし表示となる。したがって、複雑なハンドル操作を伴う状態での運転支援においては、進路を予測するよりは、幅寄せする対象としての目標物の背丈に応じて、それに干渉する可能性の高い自車の特定の高さ位置での外側の位置を表示する方が有効である。
【０００４】
本発明は、こうした事情に鑑みなされたものであり、外界を写し込んだモニター画像上に、自車の外側位置を表示することで、ハンドル操作開始時から操作終了に至るまで、目標物に対する自車の位置を常時的確に確認することができる運転支援装置を提供することを主たる目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、車両の左前角部に設置され、画像を取り込む第１の撮像装置と、車両の左後角部に設置され、画像を取り込む第２の撮像装置と、前記第１、第２の撮像装置によって取り込まれた画像を処理する制御装置と、該制御装置によって処理される画像を表示するモニターと、運転者によって操作される左寄せスイッチと、車両のシフトレバーのポジションを判断する手段とを有する運転支援装置に適用される。
そして、前記制御装置は、運転者によって前記左寄せスイッチが操作されると、前記シフトレバーのポジションを判断する手段によって判断されたシフトレバーのポジションに応じて、前記第１、第２の撮像装置によって取り込まれた画像を選択する手段、並びに該画像を選択する手段によって選択された画像のモニター上の表示に、車両の最外側ラインを地面に垂直に下ろし、最外側ラインを車両前後方向に延長した最外側延長ライン、及びタイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインのうちの一方をスーパーインポーズする画像合成手段を備える。
【０００９】
【発明の作用及び効果】
上記請求項１に記載の構成では、画像のモニター上に表示される延長ラインは、車両の最外側ラインを地面に垂直に下ろし、そのラインを車両前後方向に延長した最外側延長ライン、及びタイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインのうちの一方であり、車両の諸元に関連した固定の線であるため、モニター画面上で目標物と自車の外側位置との間隔を、目標物に対する自車の姿勢や隔たりの如何を問わず、路面上の間隔として常時確認することができる。そのため、各操作に応じた実際のハンドル操作に入る前の段階から、目標物と自車の位置関係の把握を容易に行うことができ、ハンドル操作に伴うこの位置関係の変化を見ながら姿勢を修正することで、自車を容易に目標物との所期の位置関係に導くことができる。したがって、目標物を壁面や柱とする幅寄せ時に、表示されるラインとそれら目標物との間隔を所期の間隔となるようにハンドル操作することで、容易に意図する位置に自車を停止させることができる。
【００１３】
【発明の実施の形態】
以下、図面に沿い、本発明の実施形態を説明する。本発明の思想を適用した運転支援装置の概要を、図２及び図３に示す。図２にシステム構成をブロックで示すように、この装置は、画像合成手段をプログラムとして内蔵する制御装置１を主体として、制御に必要な各種情報を取り込む入力装置２と、運転者が運転操作のために必要とする情報を適宜選択する選択スイッチ３とから構成され、更に、ナビゲーション装置との情報交換が可能なように、データベース４とディスプレー５とを具備するナビゲーション装置のナビＥＣＵ６に接続されている。これにより、本形態では、ディスプレー５を本装置の情報表示のためのモニターに利用している。なお、図中の選択スイッチ３については、本装置に専用のものを設けてもよいが、ナビゲーション装置のディスプレー５を利用したタッチパネル方式や音声認識装置を用いた音声入力方式としてもよい。
【００１４】
図３に配置を示すように、入力装置の１つを構成する撮像装置として、図に○印で示すＣＣＤカメラ２１（以下、カメラと略記し、個々のカメラを区別するとき、符号に代えて位置を表す添字付きの略号Ｃ_{F L ,}Ｃ_{F R ,}Ｃ_{R L ,}Ｃ_{R R ,}Ｃ_{M L ,}Ｃ_{M R}を付す）が、車両の４箇所の角部と左右両側の中央に設置され、また、△印で示す距離検出装置としての障害物検出センサー２８（同様に、略号Ｓ_{F L ,}Ｓ_{F R ,}Ｓ_{R L ,}Ｓ_{R R ,}Ｓ_{M L ,}Ｓ_{M R}，Ｓ_{F M ,}Ｓ_{R M}を付す）が、カメラ２１と同様の位置近傍に設置されている他、前後端部の中央にも設置されている。これら距離検出装置２８は、超音波センサーやレーザー、ミリ波レーダー等の距離を直接検出する既知の装置とすることも、上記複数のカメラ２１の取込み画像を制御装置１内で画像処理することにより間接的に距離を求める演算手段とすることもできる。
【００１５】
本発明の主題とするところは、外界を写し込んだモニター画像上に、自車の外側位置を表示することで、目標物に対する自車の位置を的確に確認可能とすることにあるが、そのための前提として、写し込む画像情報を、運転者が運転席に座っている状態での視界感覚に一致させるように工夫している。したがって、それを実現するために、撮像装置については、カメラ２１の取付け方法、より詳しくは、設置姿勢と設置位置が工夫され、制御装置については、画像の表示方法と表示タイミングに工夫が加えてある。これらの点について、まず、カメラ２１の設置姿勢から順次説明する。
【００１６】
（撮像装置の設置姿勢）
図１に示すように、運転席に座った運転者から物理的に見えない死角範囲は、点Ｄ_{F L}，Ｄ_{F R}，Ｄ_{R R}，Ｄ_{R L}に囲まれる図に斜線を付した範囲となる。ただし、ドアの窓枠や屋根を支えるピラーにより見えない部分は図示を省略している。これに対して、この見えない範囲をカバーし、しかも得られる画像情報を運転者の感覚に一致させるために、設置姿勢の第１の工夫として、各カメラ２１は、その取込み画像上の上側を車両の前方に向け、かつ垂直下方に光軸を向けた姿勢を基準とし、車両に対する配設位置の前後左右に応じ、基準の姿勢に対して前後左右方向に傾斜を付し、少なくとも車両の縁部、すなわち前後については前後の端部、左右については左右側端部を写し込む姿勢で設置する。
【００１７】
この趣旨に沿い、車両角部に設置する各カメラ２１については、その設置位置に対応する車両の縁部としての自車体の角部と、その近傍を含む車両周辺と、無限遠方を同時に俯瞰するような方向になるように設置する。この車両の角部について、特に近時の乗用車等においては、デザイン上の工夫から丸みを持たせてあるため、必ずしも判然としないが、本発明に言う車両の角部とは、自車両を平面で見たときの縁部すなわち最外縁を含むその近傍を意味し、より具体的には、車両の前端及び側端又は後端及び側端が延在する方向が推測できる形状になる範囲、例えば角部をバンパーとする場合、バンパーの角の丸みがほぼ直線に近い曲率まで小さくなることで、バンパーの前縁及び側縁又は後縁及び側縁の延びる方向から、車両の前端及び側端又は後端及び側端がどのへんの位置となるかを推測できる範囲を言う。そのため、図４に各角部のカメラの画像例Ｐ_{F L ,}Ｐ_{F R ,}Ｐ_{R L ,}Ｐ_{R R}を示すように、各々車体の前後端、左右端の延長が推測できる形状になる範囲まで画像に含むように、各カメラＣ_{F L ,}Ｃ_{F R ,}Ｃ_{R L ,}Ｃ_{R R}の姿勢を設定する。図において、略号Ｗ_{L L}，Ｗ_{L R}は路面の白線、Ｗ’_{L L}，Ｗ’_{L R}は映像上の白線、符号９０’は映像上の自車角部としてのバンパーを示す。この場合、カメラ２１の取付け位置については、後に詳述するが、概括的には、車体の各必要箇所において、可能な限り高い所に設置し、広い視界を確保するようにする。
【００１８】
設置姿勢の第２の工夫として、カメラ２１の水平方向の向きは、図１に示すように運転者が運転席に座って、その必要方向を見るときの視線の方向と概略一致するような方向、すなわち、光軸Ｘが、運転者とカメラ２１を結ぶ直線を含む垂直面の方向と実質上同様の方向を向く姿勢に設置され、前記第１の工夫による姿勢との関係で、光軸Ｘが地面と交わる点は、図中で点Ａ_{F L ,}Ａ_{F R ,}Ａ_{R L ,}Ａ_{R R}となる。これにより、各々のカメラ２１のカバーする上下方向の画角範囲をα_F，α_R、横方向の画角範囲をα_{F L}，α_{F R}，α_{R L ,}α_{R R}で示す。なお、上記の運転者とカメラ２１を結ぶ直線は、運転者の体格や好みの姿勢によりシートのスライド位置やリクライニングの傾きが異なり、更には各時々の姿勢の変化によっても異なるため、厳密には、それらに伴って向きが変動し、上記直線を含む垂直面の向きも変動することになるが、本発明にいう垂直面の方向と実質上同様の方向とは、こうした運転者の位置のずれや姿勢の変化に伴う方向のずれを許容する範囲での同方向であればよく、例えば、こうした全ての要素を加味した標準的な位置を統計的に割り出して運転者の位置を決定する等の手法で、それに合わせて方向を設定すればよい。
【００１９】
そして、このままカメラ２１の映像上の横軸が水平になるように設置したのでは、図４を参照して、自車のバンパー角部９０’は、例えばカメラＣ_{F L}について、画面の中央下方に位置することになり、自車両と並行する路面の白線Ｗ_{L L}が画面を左下（又は右下）から右上（又は左上）方向に対角線状に横切る映像となってしまう。そこで、更に設置姿勢の第３の工夫として、カメラ２１を光軸Ｘ周りに傾斜を付した姿勢に設置する。例えば、車両に対して左側のカメラについては、光軸周りに右に捩じることで右回り傾斜を付す。これにより画面は、図４に示すように前進方向が運転者の感覚に合うような向きとなる。具体的には、画像Ｐ_{F L}は左前角部に設置のカメラＣ_{F L}の画像であり、右下隅に左前角部９０’が写し込まれ、前進方向への直線状の白線Ｗ’_{L L}が画面中央下方から斜め右上方向へ、概ね直線で写り、運転席から実際に自車の左側白線Ｗ_{L L}を見たときの角度と遠近感に実感が合うようになる。更に言えば、この画像は、例えば、前左の画像Ｐ_{F L}と前右の画像Ｐ_{F R}を同時に画面の左右に配置した場合に、そのときの画像Ｐ_{F L}上の自車線左側白線Ｗ’_{L L}と、画像Ｐ_{F R}上の自車線右側白線Ｗ’_{L R}が、あたかも一つのカメラで前方を撮影したときのように、無限遠方で交わるように見える配置である。このように画面に与える傾斜は、右側及び後ろ左右についても同様である。
【００２０】
（撮像装置の設置位置）
次に、撮像装置の設置位置について、図５及び図６に左前角部へのカメラＣ_{F L}の取付け例を示し、詳細に説明する。本例ではカメラＣ_{F L}は、図に示すように前照灯９１と一体構成されたサイドランプ９２に組み込む構成となっており、この構造により既存の車両にも僅かな改変で安価に取り付け可能としている。当然のことながら、ランプを小さくして、その余ったスペースに組み込んだり、ランプ以外の外板に組み込んだり、車体表面に直接取り付けることも可能である。これによって、前記のようにカメラＣ_{F L}直下の自車体左前角部最外縁（図では前バンパーの左角部）９０と同時に車両周辺及び無限遠方を取り込むわけであるが、上記の諸条件を満足するように、できるだけ広い範囲を取り込むためには、車種によっても異なるが、上下方向の画角α_Fについて概ね９０°程度からそれより若干大きく、左右方向の画角α_{F L}についても概ね９０°程度からそれより若干大きいて程度を確保できる広角レンズのカメラＣ_{F L}が必要となる。しかしながら、あまり画角を広くすると、運転者の見る実体の距離感とのずれが大きくなるので、自ずと限界がある。そのため、本実施形態では、一例として、上下方向の画角α_Fを９７°、左右方向の画角α_{F L}を１２５°としたカメラＣ_{F L}を使用している。
【００２１】
このような設置姿勢と設置位置により本発明の狙いとする自然な画像が得られる。図７に自車前左角部のカメラＣ_{F L}の画像Ｐ_{F L}の詳細例を示す。図では、路面上に描いた進行方向の白線Ｗ_{L L}と、それに直交する白線Ｗ_{L C}の交点の垂直上方に自車の左前角部を合わせた場合の画像の見え方を表している。この画面では、自車のバンパー角部９０’を基準にして、自車の進行方向の右側白線Ｗ’_{L R}を含めた自車走行車線Ｌ’₁、左隣の車線Ｌ’₂、更に直交する白線Ｗ’_{L C}左側方向までの広い範囲を見渡し、無限遠方（図に破線で示す）を、画面の左右幅全体に写すことが可能となっている。そして、このように左右幅全体に写る無限遠方の中に、車両の正面、すなわち車両の前後方向中心軸の延長上の無限遠方が含まれ、この正面の無限遠方は、モニター上で自車両のバンパー角部９０’の上方に、水平に表示される。
【００２２】
（制御装置の画像表示方法）
次に、表示手段としてのモニターは、本形態では、ナビゲーション装置のディスプレー５を用いている。こうしたモニターは、運転者の正面のインストゥルメントパネル近辺に設置されている。そして、運転者がこの画面を覗くときの感覚は、画面上方を物理学的な上と捉えると同時に、道路上の交通標識や案内図等が全て表示面の上方が前方を示す表記とされているように、進行方向の前方と自ずと認識することになる。画面下方が物理学的な下と捉えると同時に、後方と認識されることもまた自然である。そこで、本発明の画面表示は、こうした認識を原則としてなされている。
【００２３】
実際の方法は、図４に示す各画像が得られるようにカメラ２１の姿勢を設定する。具体的には車両後方のカメラＣ_{R L}，Ｃ_{R R}の向きは、いわゆる上下逆さに取り付ける。即ち、図１に示すように、まず、運転者が運転席に座った状態の垂直線に光軸を合わせ、車体前方が画面上方となるようにして真下を俯瞰するカメラＣ_Oを仮想して、その状態から光軸を前方かつ左方に傾け、更に光軸回りに右に傾けたのがカメラＣ_{F L}であり、同様に光軸を前方かつ右方に傾け、更に光軸回りに左に傾けたのがカメラＣ_{F R}である。また、同様にして、光軸を後方かつ左右に傾け、更に光軸回りに左右に捩じったのがカメラＣ_{R L ,}Ｃ_{R R}である。ただし、図には前後方向の傾き及び左右方向の傾きが示され、光軸回りの捩じりは示されていない。このような姿勢に設定すると、ディスプレー５にはそのまま表示するだけで所望の画面が得られる。この点に関して、後方をカメラで撮影し、その画像情報を左右反転処理してモニターに表示するという、いわゆるバックミラーで覗くような鏡像とすることも考えられるが、システムが複雑化する割に感覚的には合わないので、本装置ではこうした形態は採らない。こうして得られる画像は、図４に示すように、画面上の左右の白線Ｗ’_{L L}，Ｗ’_{L R}が運転者の位置から見た実際の白線Ｗ_{L L}，Ｗ_{L R}の向きに合致するようになる。
【００２４】
こうして得られる画像情報は、その表示を運転者の要求に応じた必要最小限に留めることを基本原則として、場所、状況等に応じて選択して運転者に提供するものとしている。この趣旨に沿って構成されたシステム全体の処理フローを図８に示す。このシステムは基本的に、運転者操作の種類に沿って分けられ、図上で○印を付した符号Ａで示す縁寄せ操作、同じくＢで示す障害物回避操作、以下同様にＣで示す駐車操作、Ｄで示すブラインドコーナー操作、Ｅの後方死角確認、及びＦの白線確認をそれぞれ支援する意図で構成されている。
【００２５】
上記のＡ〜Ｆの支援内容を実現すべく、最初のステップＳ−１では、図２のシステムを構成する入力装置２からデータ読込みを行う。そして、次のステップＳ−２で、速度域により安全性、必要性を考慮して、作動する機能を分ける。すなわち、車速センサー２５の入力から低車速域の判断が成立するときは、次のステップＳ−３で、選択ＳＷ（スイッチ）のオン判断を行い、これが成立するときには、Ａの縁寄せ操作、Ｂの障害物回避操作、Ｃの駐車操作又はＤのブラインドコーナー操作の選択に応じた画面表示を行う。一方、ステップＳ−２の低車速域の判断が不成立の中高車速域のときは、Ｅの後方死角確認、Ｆの白線確認の表示処理を行う。なお、詳細な速度域については、それぞれの機能毎に異なる基準が必要であるが、それらの具体的な設定は試験評価等により、個別に設定すればよい。
【００２６】
次に、低車速の場合にＡ〜Ｄの何れかのスイッチ選択がなされたときに、その選択ＳＷに対応した機能が作動する。これらの機能は、基本的には独立した別目的の機能なので、複数選択はできないように構成している。なお、スイッチが選択されてない場合でも、Ｂの障害物回避操作とＤのブラインドコーナー操作の表示機能については安全性を考慮して、自動的に作動するようにシステムを構成している。これらについて、図中に○印を付した符号Ｂ’、Ｄ’で示している。また、中高速域の場合には、Ｆの白線確認の機能からＥの後方死角確認の機能に繋がって行く。以下にこれら個別の機能について、本発明の主題に係るＡの縁寄せ操作を主として、他の操作については、概略を説明する。
【００２７】
（縁寄せ操作）
縁寄せ操作における表示方法は、図９に示すように、車両の最外側ラインＷ_{B L}，Ｗ_{B R}を地面に垂直に下ろし、そのラインを車両前後方向に延長した最外側延長ライン（車両中心軸に平行）Ｌ_{B L}，Ｌ_{B R}を画面上に重ねて表示することを基本とする。この場合、最外側延長ラインＬ_{B L}，Ｌ_{B R}の代わりにタイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインを表示してもよい。更に、これら外側延長ラインは、必ずしも厳密な車両の最外側あるいはタイヤの最外側に合わせる必要はなく、それらの最外側から２０ｃｍぐらいまでのマージンを持たせたラインとすることも可能である。これら延長ラインの絵柄については、図９に示すように単一の直線、あるいは１０ｃｍ間隔程度の複数のラインとしたり、図１０（１）に示すようにタイヤの絵Ｔ_Iを付けてタイヤ外側延長ラインＬ_{T L}をイメージさせたり、図１０（２）に示すように地面Ｇ_I、車両９の外側面Ｂ_Iを地面に対する垂直面としてイメージできるように立体的な表現にする等の様々な形態が考えられる。
【００２８】
次に表示を行う条件は、図２に示す選択ＳＷにより、運転者が縁寄せを選択することを条件とする。この選択による処理フローを図１１に示す。縁寄せ操作は低車速のみとし、高車速では作動させない。何故なら、高速走行時はこのような縁寄せ操作は危険であり、また、画像情報そのものが運転者の注意力を分散させる可能性があるからである。まず、前進走行中に左側にある溝にできるだけ寄せて停車することを意図する場合、運転者は左寄せＳＷを選択する。この選択は、ステップＳＡ−１で判定される。その状態であらかじめ設定した車速以下になると、ステップＳＡ−２の判断により前進走行中が成立するので、ステップＳＡ−４の処理画像Ｐ_{F L}が表示される。そこで、運転者は画面上の溝を目標に、スーパーインポーズされる自車の最左外側ラインＬ_{B L}を合わせるように運転操作することで、容易に縁寄せができる。縁寄せが終わり、シフトレバーを“Ｐ”レンジポジションに入れれば、それによるポジションＳＷ（スイッチ）２３の入力がステップＳＡ−１１で判断されて、ステップＳＡ−１２で選択ＳＷが解除され、縁寄せ支援は完了する。この解除条件は、他に、シフトレバーが“Ｎ”レンジポジションで車両停止一定時間以上、ブレーキＳＷ（スイッチ）オンで車両停止一定時間以上、あるいは、エンジン停止等も考えられる。縁寄せ操作の途中、状況により後進する必要がある場合には、シフトレバーを“Ｒ”レンジポジションにすると、ポジションＳＷ（スイッチ）２３の入力によるステップＳＡ−２の判断で、ステップＳＡ−５により画像がＰ_{R L}に代わり、後進支援画面となる。特に、後進の場合は、車両の前左角部が左右に振れるので、図１１の右上に示すように画像Ｐ_{F L}、Ｐ_{R L}を同時に表示する表示方法を採るのが有効である。なお、以上の説明は、一般的な前輪ステアリング機構を前提にしているが、一部の車に採用されている４輪ステアリング機構の場合には、前進時にも、図１１右上に示すように２画像同時表示とするのが有効である。
【００２９】
一方、状況により、車両を右側に寄せたい場合には、右寄せＳＷの選択によりステップＳＡ−１の右寄せ判断が成立し、ステップＳＡ−３の前後進判断に応じてステップＳＡ−６又はステップＳＡ−７の画面表示となる。また、狭い道ですれ違う時や障害物等で狭くなっている所を通過するとき等は、縁寄せ中央ＳＷを選択すれば、ステップＳＡ−１、ステップＳＡ−８による判断で、前・後進いずれかの左右画像をステップＳＡ−９又はステップＳＡ−１０により一画面に同時に表示することができ、運転操作に合った支援を行うことができる。なお、図１１における左縁寄せ画面以外は、取込み画像を一部省略して画面を簡略化して示したもので、実際の表示画面は、左縁寄せ画面と同様に撮像画像を含むものとなる。
【００３０】
（障害物回避操作）
障害物回避操作の場合の表示を行う条件は、図１２に示す処理フローに従い、縁寄せ操作の場合と同じく低車速時に限定する。運転者が図２に示す選択ＳＷ（例えば前左等）を操作した場合は、それに応じたステップＳＢ−１の判断で、ステップＳＢ−２により対応する角部の画像（図４参照）を表示する。その時にステアリング舵角センサー２６の入力を基に、ステアリング舵角、前後進に対応した車体角部の予測軌跡を併せて表示する。この表示は、ステップＳＢ−３の判断により距離センサー２８の検出距離が全て基準値以上となったときに、ステップＳＢ−４による全ての角部ＳＷの解除処理により終了させる。また、スイッチが選択されない場合には、ステップＳＢ−１の判断でＢ’に進み、ステップＳＢ−５の判断で各角部の距離センサー２８の検出距離が一つ以上基準値以下になり、ステップＳＢ−６の判断で更にその距離が近付きつつある場合に、ステップＳＢ−７により、該当する角部の画像を表示するとともにステップＳＢ−８により運転者に警告する。
【００３１】
（駐車操作）
駐車操作の場合の表示を行う条件は、図１３に示す操作の処理フローに従う。この場合も前記２操作と同様に低車速時のみ支援するものとする。このフローは、図４に示す駐車ＳＷを運転者が選択することで開始する。左後ろ駐車の場合は、運転者はＳＷＰ_Lを、また右後ろ駐車の場合はＳＷＰ_Rを選択することになる。この選択に応じたステップＳＣ−１の判断により左後ろ駐車の場合で説明すると、ステップＳＣ−２の判断がポジションスイッチ２３の入力で前進時は、ステップＳＣ−４により左後ろ画像Ｐ_{R L}に駐車枠範囲Ｚ_Iをスーパーインポーズし、運転者がこの範囲Ｚ_Iに実際の目標駐車スペースが入るように運転操作すると、後進を開始すべき位置に車両を停止させることができる。運転者がこの状態を確認して後進にシフトレバーを入れると、ステップＳＣ−５により後ろの二つの画像Ｐ_{R L}、Ｐ_{R R}を同時に画面表示し、各々の角部にステアリング舵角に応じた予測軌跡線Ｌ_{B S R}をスーパーインポーズする。運転者はこれを参考にして、画面に映っている実際の目標駐車スペースＵ’に入るように運転操作をする。このフローは、ステップＳＣ−８のパーキングレンジへのシフト判断によるステップＳＣ−９のスイッチ解除で終了させる。
【００３２】
ところで、この駐車操作においても、上記ステアリング舵角に応じた予測軌跡線Ｌ_{B S R}に代えて、図１４に示すように、本発明の主題とする最外側延長ラインＬ_{B L}，Ｌ_{B R}をスーパーインポーズするようにしてもよい。この場合の表示タイミングは、後進にシフトレバーを入れて、ステップＳＣ−５により後ろの二つの画像Ｐ_{R L}、Ｐ_{R R}を同時に画面表示されたときとし、舵角センサー２６により実際にハンドルが切られたことを検出するまで、あるいは駐車操作終了までの間表示を継続するのが有効である。また、これに併せて、図に符号Ｗ_Iで示すように、目標駐車枠基準線をスーパーインポーズしてもよい。この枠基準線は、車両の後端位置と車両最外側に対して所定幅だけゆとりを持たせた位置を地面に投影した位置を示す。したがって、この枠基準線は、目標駐車スペースＵ’内の中央位置かつ後方いっぱいに車両を誘導する目安に使用するのに有効である。
【００３３】
（ブラインドコーナー）
ブラインドコーナーの場合の表示を行う条件は、図１５に示すブラインドコーナー表示の概略処理フローに従う。このフローは、前記メインフローで説明したように、低車速時のみ作動するものとする。そして運転者がブレーキを踏み、ブレーキスイッチ２４の入力によるステップＳＤ−１の判断で、図２に示すブラインドＳＷ（前左、前右、後左、後右）が選択されていることを条件として、ステップＳＤ−２のポジションスイッチ２３の入力判断による前・後進に応じて、図２９に示す片側画面若しくは図の画面（１）又は（２）を表示する。画面（１）の場合で説明すると、前左画像Ｐ_{F L}と前右画像Ｐ_{F R}を自車の絵Ｍ_Iと対応させる位置に配置し、図１５のように距離標Ｌ_Kをスーパーインポーズする。そして、この距離標Ｌ_Kは運転者の注視方向をも示しており、注視時のポイントが解りやすくなっている。なお、図において符号Ｎ’は視界障害物を示す。
【００３４】
（後方死角確認）
図１６に後方死角確認の表示の流れを示す。この表示は、設定車速以上で、ナビ情報から解るステップＳＥ−１の判断で片側２車線以上、更にステップＳＥ−２の判断で交差点近くでない所で走行中に、ステップＳＥ−３によるウィンカー操作が判断された場合に、追い越し、又は割り込みと判断することで実行し、該当する後方画像をステップＳＥ−４又はステップＳＥ−５で表示する。運転者はこの画像を参考にして運転操作をする。車線判断に関しては、後に述べる白線検出技術を用いて、走行している道路の車線数、自車の走行している車線等は容易に解る。また、主要道路に設置されている光ビーコンの信号を用いても、同じ事が容易に可能となる。これらの情報を用いるだけでもウィンカー操作と組み合わせて追い越し又は割り込みの判断は容易にできる。勿論、ナビ情報と組み合わせれば、更に情報精度が高まるのは当然である。
【００３５】
（白線確認）
図１７に白線確認の処理フローを示す。条件としては、ある一定車速以上で、ステップＳＦ−１によるヘッドライト点灯判断が成立し、ステップＳＦ−２によるワイパー作動判断が成り立つ時を夜間、雨の中を走行中と判断し、ステップＳＦ−４によりサイドランプを点灯し、左側面から前方の路面を照射し、ステップＳＦ−５により画面を表示する。なお、上記のフローにおいて、夜間、雨中の判断が不成立のときは、前記後方死角確認の処理フローに移り、上記両判断が成立のときでも、ウィンカー作動時は、後方死角確認のフローの判断要件を跳ばして後方死角画面を表示することになる。また、サイドランプ点灯は、必ずしも必要条件ではない。それは、対向車等の前照灯の方向に対して、前左右のカメラＣ_{F L ,}Ｃ_{F R}の光軸方向は大きく異なるため、対向車の光が水膜に鏡面反射してきても、カメラのＣＣＤには入らず、眩惑されることはなく、白線からの反射光は乱反射であるため、ＣＣＤで捉えることが可能であるためである。したがって、対向車や後続の車、隣の車、更には自車等の照明を使って自車の横から、やや前方まで充分に検出可能である。このように、サイドランプ点灯は更に見えやすくするためのものである。
【００３６】
（白線の検出）
なお、本実施形態の運転支援装置は、白線の検出にも使用することができる。白線検出の具体的手法については、周知であるので説明を省略するが、それらの多くは、カメラを車室内のフロントガラス近辺に専用に設置している。それに対して、本装置では、前記のように死角検出用に設けた車両前左右角部の二つのカメラを用いて白線検出を行わせることができる。こうすることによって、本運転支援装置の特徴である横方向の視界の広さを利用した自車近辺の横の白線の検出で、自車体との相対位置関係を精度良く検出できるとともに、前記の白線の表示で説明したように、夜間降雨時や霧の時にも検出可能である等の利点が得られる。しかも、他の機能と兼用のため安価となる。
次に、運転支援装置の他の形態について説明する。
他の第１の形態によれば、車両に設置され、外界の情報を取り込む撮像装置と、該撮像装置が取り込む画像を処理する制御装置と、該制御装置により処理される画像を表示するモニターとを備える運転支援装置において、前記制御装置は、撮像装置により取り込まれる画像のモニター上の表示に、車両の最外側ラインを地面に垂直に下ろし、そのラインを車両前後方向に延長した最外側延長ラインをスーパーインポーズする画像合成手段を備えることを特徴とする。
この場合、画像のモニター上に表示される延長ラインは、車両の最外側ラインを地面に垂直に下ろし、そのラインを車両前後方向に延長した最外側延長ラインであり、車両の諸元に関連した固定の線であるため、モニター画面上で目標物と自車の外側位置との間隔を、目標物に対する自車の姿勢や隔たりの如何を問わず、路面上の間隔として常時確認することができる。そのため、各操作に応じた実際のハンドル操作に入る前の段階から、目標物と自車の位置関係の把握を容易に行うことができ、ハンドル操作に伴うこの位置関係の変化を見ながら姿勢を修正することで、自車を容易に目標物との所期の位置関係に導くことができる。したがって、目標物を壁面や柱とする幅寄せ時に、表示されるラインとそれら目標物との間隔を所期の間隔となるようにハンドル操作することで、容易に意図する位置に自車を停止させることができる。
他の第２の形態によれば、車両に設置され、外界の情報を取り込む撮像装置と、該撮像装置が取り込む画像を処理する制御装置と、該制御装置により処理される画像を表示するモニターとを備える運転支援装置において、前記制御装置は、撮像装置により取り込まれる画像のモニター上の表示に、タイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインをスーパーインポーズする画像合成手段を備えることを特徴とする。
この場合、画像のモニター上に表示されるラインは、タイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインであり、固定の線であるため、モニター画面上で目標物と自車のタイヤ外側との間隔を、目標物に対する自車の姿勢や隔たりの如何を問わず、路面上の間隔として常時確認することができる。そのため、各操作に応じた実際のハンドル操作に入る前の段階から、目標物と自車のタイヤ位置関係を把握した容易に行うことができ、ハンドル操作に伴うこの位置関係の変化を見ながら姿勢を修正することで、自車を容易に目標物との所期の位置関係に導くことができる。したがって、目標物を溝や縁石とする幅寄せ時に、表示されるラインとそれら目標物との間隔を所期の間隔となるようにハンドル操作することで、容易に意図する位置に自車を停止させることができる。
他の第３の形態によれば、表示される延長ラインの意味の把握を容易にするには、前記タイヤ外側延長ラインは、タイヤの絵柄を伴うものとするのが有効である。
この場合、上記の効果に加えて、表示される延長ラインの意味を直観的、かつ瞬時に把握することができる効果が得られる。
他の第４の形態によれば、表示されるラインと映像上の地面との位置関係の把握を容易にする意味で、前記延長ラインは、映像上の地面に対する垂直面を表す絵柄を伴うものとするのが有効である。
この場合、上記の各効果に加えて、地面上での目標物と自車外側の間隔の把握が視覚的に更に容易となる効果が得られる。
【００３７】
以上、本発明の技術思想の理解の便宜のために、一実施形態を基に若干の変形例を挙げて説明したが、本発明は、例示の実施形態や変形例に限定されるものではなく、特許請求の範囲の個々の請求項に記載の事項の範囲内で、種々に具体的な構成を変更して実施することができるものである。
【図面の簡単な説明】
【図１】本発明を適用した運転支援装置の一実施形態における撮像装置の設置姿勢を示す説明図である。
【図２】運転支援装置のシステム構成を示すブロック図である。
【図３】運転支援装置の撮像装置と距離検出装置の車両への配置を模式化して示す平面図である。
【図４】車両の各角部に設置した撮像装置の方向とモニター表示画面の関係を示す説明図である。
【図５】車両角部に対する撮像装置の具体的配設位置と設置姿勢を模式化して例示する断面図である。
【図６】撮像装置の具体的設置位置を例示する車両正面図である。
【図７】自車左前角部を表示するモニター表示画面を例示する画面説明図である。
【図８】運転支援装置のシステム全体の処理フロー示すフローチャートである。
【図９】縁寄せ操作時のモニター表示画面を車両各部との位置関係と併せて示す説明図である。
【図１０】ライン表示の図形例を対比して示すイメージ図である。
【図１１】縁寄せ操作時の処理フローを示すフローチャートである。
【図１２】障害物回避操作時の処理フローを示すフローチャートである。
【図１３】駐車操作時の処理フローを示すフローチャートである。
【図１４】駐車操作時の表示画面の変形例を示す画面説明図である。
【図１５】ブラインドコーナー表示の処理フローを示すフローチャートである。
【図１６】後方死角表示の処理フロー示すフローヂャートである。
【図１７】白線表示時の処理フローを示すフローチャートである。
【符号の説明】
１制御装置（画像合成装置）
５ディスプレー（モニター）
９車両
２１ＣＣＤカメラ（撮像装置）
Ｌ_{B L}，Ｌ_{B R} 最外側延長ライン
Ｌ_{T L} タイヤ外側延長ライン
Ｔ_I タイヤの絵柄
Ｂ_I 垂直面を表す絵柄[0001]
BACKGROUND OF THE INVENTION
The present invention captures information around the vehicle, which is a blind spot of the driver, with an imaging device, displays the captured image on a vehicle interior monitor, complements the driver's field of view, and superimposes auxiliary information that assists the driving operation. The present invention relates to an imposing support device.
[0002]
[Prior art]
Since the car has a car body that surrounds the driver's four sides, it is difficult to avoid a blind spot where the driver's field of view is obstructed by the car body part except the window part. It is desirable to eliminate blind spots for avoidance and ensuring safety against moving obstacles. Therefore, in order to obtain such blind spot information indirectly, the vehicle has conventionally been provided with a blind spot eliminating means represented by an under mirror of a large vehicle. In addition, various devices utilizing this have been proposed along with the recent improvement in performance and size of video equipment. Among these proposals, the rear view captured by the camera is displayed on the monitor screen in the vicinity of the driver's seat to cover the blind spot range, and the predicted backward trajectory corresponding to the steering angle of the steering wheel is displayed superimposed on the monitor screen. Some have a locus display means. And in such a thing, it is disclosed by Unexamined-Japanese-Patent No. 1-168538 that the avoidance discrimination | determination with respect to an obstruction was made easier by making the said reverse travel locus | trajectory into the reverse trajectory near the upper part of a vehicle body rear part further. There is a technology.
[0003]
[Problems to be solved by the invention]
By the way, the proposed technique changes the expected trajectory corresponding to the steering angle of the steering wheel, so it is considered to function effectively for correcting the steering angle after turning the steering wheel by a certain amount. There is a case where the change of the predicted trajectory on the display is troublesome because it is not useful for the course prediction in the operation that involves turning the steering wheel before or during the course. As a typical example of such an operation, there is a width adjustment operation to a road shoulder or the like. In the case of this operation, in general, on a left-handed road, in a forward or reverse state, while turning the steering wheel slightly to the left, the vehicle is brought closer to the road shoulder, turning the steering wheel to the right at an appropriate place, and finally returning to the center. In this case, the expected trajectory is displayed so as to intersect with the road shoulder until it changes from the initial left-turned state to the right-turned state, and cannot be used as a guide for width adjustment, and is displayed bothersome. Therefore, in driving assistance with a complicated steering wheel operation, rather than predicting the course, depending on the height of the target as the target to be narrowed, the specific height of the vehicle that is likely to interfere with it It is more effective to display the outside position at the position.
[0004]
The present invention has been made in view of such circumstances, and displays the position of the outside of the vehicle on a monitor image that captures the outside world. The main object is to provide a driving support device that can always and accurately check the position of a vehicle.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a first imaging device that is installed at the left front corner of the vehicle and captures an image, and a second imaging device that is installed at the left rear corner of the vehicle and captures an image. , A control device for processing images captured by the first and second imaging devices, a monitor for displaying images processed by the control device, a left-justified switch operated by a driver, and a vehicle shift lever The present invention is applied to a driving support device having means for determining the position of the vehicle.
When the left switch is operated by the driver, the control device uses the first and second imaging devices according to the position of the shift lever determined by the means for determining the position of the shift lever. In the means for selecting the captured image and the display on the monitor of the image selected by the means for selecting the image, the outermost line of the vehicle is lowered vertically to the ground, and the outermost line is extended in the longitudinal direction of the vehicle. Image combining means for superimposing one of an outermost extension line and a tire outer extension line obtained by extending the outer line of the tire in the vehicle longitudinal direction is provided.
[0009]
[Action and effect of the invention]
In the configuration according to claim 1, the extension line displayed on the monitor of the image is such that the outermost line of the vehicle is lowered perpendicularly to the ground and the outermost extension line is extended in the vehicle longitudinal direction, and the tire. This is one of the tire outer extension lines that extend the outer line of the vehicle in the longitudinal direction of the vehicle, and is a fixed line related to the specifications of the vehicle, so the distance between the target and the outer position of the vehicle on the monitor screen Can always be confirmed as the distance on the road surface regardless of the position or distance of the vehicle relative to the target. Therefore, it is possible to easily grasp the positional relationship between the target and the vehicle from the stage before entering the actual steering operation corresponding to each operation, and the posture can be changed while observing the change in the positional relationship accompanying the steering operation. By correcting the vehicle, the host vehicle can be easily guided to the desired positional relationship with the target. Therefore, when the width of the target is a wall or column, the vehicle is easily stopped at the intended position by operating the handle so that the displayed line and the target are at the desired distance. Can be made.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. An outline of a driving support device to which the idea of the present invention is applied is shown in FIGS. As shown in the block diagram of the system configuration in FIG. 2, this apparatus mainly includes a control apparatus 1 having a built-in image synthesizing unit as a program, an input apparatus 2 that captures various information necessary for control, and a driver that performs a driving operation. And a selection switch 3 for appropriately selecting information necessary for the operation, and further connected to a navigation ECU 6 of a navigation device having a database 4 and a display 5 so that information can be exchanged with the navigation device. Yes. Thus, in this embodiment, the display 5 is used as a monitor for displaying information on the apparatus. As for the selection switch 3 in the figure, a dedicated switch may be provided for this apparatus, but a touch panel method using the display 5 of the navigation device or a voice input method using a voice recognition device may be used.
[0014]
As shown in FIG. 3, as an imaging device constituting one of the input devices, a CCD camera 21 indicated by a circle in the figure (hereinafter abbreviated as a camera, when distinguishing individual cameras, instead of the reference numerals) Abbreviation C with subscript indicating position _FL, C _FR, C _RL, C _RR, C _ML, C _MR The obstacle detection sensor 28 (also abbreviated as S) is installed at the four corners of the vehicle and in the middle of the left and right sides, and as a distance detection device indicated by Δ. _FL, S _FR, S _RL, S _RR, S _ML, S _MR , S _FM, S _RM Is installed in the vicinity of the same position as the camera 21, and is also installed in the center of the front and rear end portions. These distance detection devices 28 may be known devices that directly detect distances such as ultrasonic sensors, lasers, millimeter wave radars, or the like, by processing the captured images of the plurality of cameras 21 in the control device 1. It can also be an arithmetic means for obtaining the distance indirectly.
[0015]
The subject of the present invention is to make it possible to accurately confirm the position of the vehicle relative to the target by displaying the outside position of the vehicle on a monitor image that captures the outside world. As a premise, the image information to be copied is devised so as to match the sense of view when the driver is sitting in the driver's seat. Therefore, in order to realize this, the mounting method of the camera 21, more specifically, the installation posture and the installation position are devised for the imaging device, and the image display method and the display timing are devised for the control device. is there. First, these points will be described sequentially from the installation posture of the camera 21.
[0016]
(Installation posture of the imaging device)
As shown in FIG. 1, the blind spot range that is physically invisible to the driver sitting in the driver's seat is a point D. _FL , D _FR , D _RR , D _RL The area enclosed by is a hatched area. However, the portions that cannot be seen by the pillars that support the window frame of the door and the roof are not shown. On the other hand, in order to cover this invisible range and match the obtained image information with the driver's senses, as a first device of the installation posture, each camera 21 has an upper side on the captured image. With reference to the attitude toward the front of the vehicle and the optical axis directed vertically downward, the vehicle is inclined at the front, rear, left, and right with respect to the reference attitude according to the front, rear, left, and right directions of the position of the vehicle. In other words, the front and rear end portions are arranged in the front and rear directions, and the left and right end portions are arranged in the left and right directions.
[0017]
In line with this point, for each camera 21 installed at the corner of the vehicle, the corner of the vehicle body as the edge of the vehicle corresponding to the installation position, the periphery of the vehicle including the vicinity thereof, and an infinite distance are simultaneously viewed. Install in such a direction. The corners of this vehicle are rounded off due to design in particular in recent passenger cars, etc., so it is not always obvious, but the corners of the vehicle referred to in the present invention means that the vehicle is flat. Means the vicinity of the edge including the outermost edge when viewed in, more specifically, the range in which the front end and side end or rear end and side end of the vehicle can be estimated, for example, When a corner is a bumper, the roundness of the corner of the bumper is reduced to a curvature that is almost a straight line, so that the front edge and side edge of the vehicle or the side edge or The range in which the rear end and the side end can be estimated. Therefore, the image example P of the camera at each corner is shown in FIG. _FL, P _FR, P _RL, P _RR As shown, each camera C includes a range in which the extension of the front and rear ends and the left and right ends of the vehicle body can be estimated. _FL, C _FR, C _RL, C _RR Set the posture. In the figure, the abbreviation W _LL , W _LR Is the white line on the road, W ' _LL , W ' _LR Indicates a white line on the video, and reference numeral 90 'indicates a bumper as a corner of the vehicle on the video. In this case, although the mounting position of the camera 21 will be described in detail later, generally, the camera 21 is installed at a height as high as possible in each necessary portion of the vehicle body to ensure a wide field of view.
[0018]
As a second device of the installation posture, the horizontal direction of the camera 21 is substantially the same as the direction of the line of sight when the driver sits in the driver's seat and looks at the necessary direction as shown in FIG. That is, the optical axis X is installed in a posture that faces substantially the same direction as the direction of the vertical plane including the straight line connecting the driver and the camera 21, and the optical axis X is related to the posture by the first device. Is the point A in the figure _FL, A _FR, A _RL, A _RR It becomes. As a result, the vertical angle of view range covered by each camera 21 is set to α. _F , Α _R , The horizontal angle of view range is α _FL , Α _FR , Α _RL, α _RR It shows with. The straight line connecting the driver and the camera 21 differs depending on the driver's physique and the desired posture, and the slide position of the seat and the inclination of the reclining are different. However, the direction of the vertical plane including the straight line also changes, and the direction of the vertical plane referred to in the present invention is substantially the same as the direction of the vertical plane in the present invention. Or the same direction within a range that allows the deviation of the direction due to the change in posture.For example, the standard position taking all these factors into account is statistically determined to determine the driver's position, etc. The direction should be set according to the method.
[0019]
Then, if the horizontal axis on the video of the camera 21 is set to be horizontal as it is, referring to FIG. _FL The white line W on the road surface parallel to the host vehicle. _LL However, the image crosses the screen diagonally from the lower left (or lower right) to the upper right (or upper left). Therefore, as a third device of the installation posture, the camera 21 is installed in a posture inclined around the optical axis X. For example, the camera on the left side with respect to the vehicle is tilted clockwise by twisting to the right around the optical axis. As a result, the screen is oriented so that the forward direction matches the driver's sense as shown in FIG. Specifically, the image P _FL Is the camera C installed at the left front corner _FL The left front corner portion 90 ′ is imprinted in the lower right corner, and the straight white line W ′ in the forward direction is shown. _LL Appears in a straight line from the lower center of the screen to the upper right side of the screen. _LL You will be able to feel the angle and perspective when you see. Furthermore, this image is, for example, the front left image P. _FL And front right image P _FR Is placed on the left and right of the screen at the same time, the image P at that time _FL Upper left lane on the left lane W ' _LL And image P _FR Upper lane right white line W ' _LR However, it is an arrangement that seems to cross at infinity, as if the front was shot with one camera. The inclination given to the screen in this way is the same for the right side and the rear left and right.
[0020]
(Imaging device installation position)
Next, regarding the installation position of the imaging device, the camera C to the left front corner is shown in FIGS. _FL An example of mounting will be shown and described in detail. In this example, camera C _FL As shown in the figure, it is configured to be incorporated into a side lamp 92 integrally formed with a headlamp 91, and this structure allows it to be attached to an existing vehicle at a low cost with a slight modification. As a matter of course, the lamp can be made smaller and incorporated in the remaining space, or it can be incorporated in an outer plate other than the lamp, or directly attached to the surface of the vehicle body. As a result, as described above, the camera C _FL The vehicle periphery and infinite distance are captured simultaneously with the vehicle body's left front corner outermost edge (left corner of the front bumper in the figure) 90 immediately below. Depending on the model, the vertical angle of view α _F The angle of view α in the horizontal direction is about 90 ° to slightly larger than that. _FL The camera C with a wide-angle lens that can secure a degree of about 90 ° to slightly larger than that _FL Is required. However, if the angle of view is too wide, the deviation from the sense of distance of the entity seen by the driver increases, so there is a limit naturally. Therefore, in this embodiment, as an example, the angle of view α in the vertical direction _F 97 °, angle of view α in the horizontal direction _FL Camera C with 125 ° _FL Is used.
[0021]
With such an installation posture and installation position, a natural image targeted by the present invention can be obtained. Figure 7 shows the camera C at the left front corner of the vehicle. _FL Image P of _FL A detailed example is shown. In the figure, the white line W in the direction of travel drawn on the road surface _LL And the white line W perpendicular to it _LC This shows how the image looks when the left front corner of the vehicle is aligned vertically above the intersection. In this screen, the white line W ′ on the right side of the direction of travel of the vehicle is based on the bumper corner 90 ′ of the vehicle. _LR Vehicle lane L 'including ₁ , Left lane L ' ₂ , Further orthogonal white line W ' _LC It is possible to look over a wide range up to the left side and copy infinite distance (indicated by a broken line in the figure) to the entire left and right width of the screen. And in the infinite distance shown in the entire left and right width in this way, the front of the vehicle, that is, the infinite distance on the extension of the center axis in the longitudinal direction of the vehicle, is included. It is displayed horizontally above the bumper corner 90 '.
[0022]
(Control device image display method)
Next, the monitor as the display means uses the display 5 of the navigation device in this embodiment. These monitors are installed near the instrument panel in front of the driver. And when the driver looks into this screen, the upper part of the screen is considered as a physical top, and at the same time, traffic signs and guide maps on the road are all shown with the upper part of the display surface pointing forward. As you can see, it will naturally be recognized as the front in the direction of travel. It is also natural that the lower part of the screen is regarded as the physical bottom and at the same time recognized as the rear. Therefore, the screen display of the present invention is made based on such recognition in principle.
[0023]
In an actual method, the posture of the camera 21 is set so that each image shown in FIG. 4 is obtained. Specifically, the camera C behind the vehicle _RL , C _RR The direction of is attached upside down. That is, as shown in FIG. 1, first, a camera C that looks down directly below with the optical axis aligned with the vertical line in a state where the driver is sitting in the driver's seat and the front of the vehicle body is on the upper side of the screen. _O The camera C is tilted to the left and to the right around the optical axis. _FL Similarly, the camera C is tilted forward and to the right and further to the left around the optical axis. _FR It is. Similarly, the camera C is tilted backward and to the left and right, and twisted to the left and right around the optical axis. _RL, C _RR It is. However, in the drawing, the inclination in the front-rear direction and the inclination in the left-right direction are shown, and the twist about the optical axis is not shown. When the posture is set as described above, a desired screen can be obtained by simply displaying it on the display 5 as it is. With regard to this point, it is conceivable to create a mirror image such as looking through a so-called rearview mirror, where the rear side is photographed with a camera, and the image information is reversed and displayed on a monitor. This device does not take this form because it is not suitable. As shown in FIG. 4, the image obtained in this way is a white line W ′ on the left and right on the screen. _LL , W ' _LR Is the actual white line W as seen from the driver's position _LL , W _LR It will match the direction of.
[0024]
The image information obtained in this way is selected according to the location, situation, etc. and provided to the driver based on the basic principle of keeping the display to the minimum necessary according to the driver's request. FIG. 8 shows a processing flow of the entire system configured in accordance with this purpose. This system is basically divided according to the type of driver's operation. In the figure, the margining operation indicated by the symbol A with a circle, the obstacle avoiding operation indicated by B, and the parking indicated by C similarly. Operation, blind corner operation indicated by D, backward blind spot confirmation of E, and white line confirmation of F are each configured to be supported.
[0025]
In order to realize the above-described support contents A to F, in the first step S-1, data is read from the input device 2 constituting the system of FIG. Then, in the next step S-2, the function to be operated is divided in consideration of safety and necessity according to the speed range. That is, when the determination of the low vehicle speed range is established from the input of the vehicle speed sensor 25, the selection SW (switch) is turned on in the next step S-3. Screen display according to the selection of the obstacle avoiding operation, the parking operation of C, or the blind corner operation of D. On the other hand, when the determination of the low vehicle speed range in step S-2 is not established, the display processing of the rear blind spot confirmation of E and the white line confirmation of F is performed. For the detailed speed range, different standards are required for each function, but specific settings thereof may be individually set by test evaluation or the like.
[0026]
Next, when one of the switches A to D is selected at the low vehicle speed, the function corresponding to the selected SW is activated. Since these functions are basically independent functions, they are configured so that a plurality of functions cannot be selected. Even when the switch is not selected, the display function of the obstacle avoidance operation of B and the blind corner operation of D is configured to operate automatically in consideration of safety. These are indicated by symbols B ′ and D ′ marked with ○ in the drawing. In the middle and high speed range, the white line confirmation function of F leads to the backward blind spot confirmation function of E. Hereinafter, with respect to these individual functions, the outline of the other operations will be described mainly with reference to the edge alignment operation A according to the subject of the present invention.
[0027]
(Edge alignment operation)
As shown in FIG. 9, the display method in the edge alignment operation is the outermost line W of the vehicle. _BL , W _BR The outermost extension line (parallel to the vehicle central axis) L _BL , L _BR Is basically displayed on the screen. In this case, the outermost extension line L _BL , L _BR Instead of this, a tire outer extension line obtained by extending the tire outer line in the vehicle longitudinal direction may be displayed. Further, these outer extension lines do not necessarily have to be exactly aligned with the outermost side of the vehicle or the outermost side of the tire, and can be a line having a margin of about 20 cm from the outermost side. As for the pattern of these extension lines, a single straight line or a plurality of lines with an interval of about 10 cm as shown in FIG. 9 or a tire picture T as shown in FIG. _I With tire outer extension line L _TL Or the ground G as shown in FIG. _I The outer surface B of the vehicle 9 _I Various forms such as a three-dimensional expression so that the image can be imaged as a vertical plane with respect to the ground are conceivable.
[0028]
The condition for the next display is that the driver selects the edge alignment by the selection SW shown in FIG. A processing flow by this selection is shown in FIG. The margining operation is limited to low vehicle speeds and is not operated at high vehicle speeds. This is because such a close-up operation is dangerous when traveling at high speed, and the image information itself may disperse the driver's attention. First, when it is intended to stop as close as possible to the groove on the left side during forward traveling, the driver selects the left-justified SW. This selection is determined in step SA-1. If the vehicle speed falls below the preset vehicle speed in this state, the forward traveling is established based on the determination in step SA-2. _FL Is displayed. Therefore, the driver aims at the groove on the screen and the leftmost outer line L _BL By operating to match, the edges can be easily aligned. When the alignment is finished and the shift lever is put into the “P” range position, the input of the position SW (switch) 23 is determined in step SA-11, the selection SW is canceled in step SA-12, and the alignment is performed. Support is complete. In addition, the release condition may be a certain period of time for stopping the vehicle when the shift lever is in the “N” range position, a certain period of time for stopping the vehicle when the brake SW (switch) is turned on, or an engine stop. If it is necessary to move backward depending on the situation during the rim adjustment operation, if the shift lever is set to the “R” range position, the determination at step SA-2 by the input of the position SW (switch) 23 is made according to step SA-5. The image is P _RL Instead, it will be a reverse support screen. In particular, in the case of reverse, the front left corner of the vehicle swings left and right, so that the image P as shown in the upper right of FIG. _FL , P _RL It is effective to adopt a display method for displaying the images simultaneously. The above description is based on the premise of a general front wheel steering mechanism. However, in the case of a four-wheel steering mechanism employed in some vehicles, as shown in the upper right of FIG. It is effective to display images simultaneously.
[0029]
On the other hand, if it is desired to bring the vehicle to the right depending on the situation, the right justification judgment of Step SA-1 is established by selecting the right justification SW, and Step SA-6 or Step SA- is selected according to the forward / backward judgment of Step SA-3. 7 is displayed. Also, when passing on a narrow road or passing through a place that is narrow due to obstacles, etc., if the centering center SW is selected, either forward or backward can be determined according to the judgment in step SA-1 or step SA-8. These left and right images can be simultaneously displayed on one screen by step SA-9 or step SA-10, and assistance suitable for the driving operation can be performed. The screen other than the left edge alignment screen in FIG. 11 is shown by simplifying the screen by partially omitting the captured image, and the actual display screen includes the captured image in the same manner as the left edge alignment screen. .
[0030]
(Obstacle avoidance operation)
The condition for performing the display in the case of the obstacle avoiding operation is limited to the low vehicle speed in the same manner as in the case of the edge aligning operation in accordance with the processing flow shown in FIG. When the driver operates the selection SW (for example, front left) shown in FIG. 2, the corresponding corner image (see FIG. 4) is displayed in step SB-2 according to the determination in step SB-1 accordingly. To do. At that time, based on the input of the steering angle sensor 26, the steering angle and the predicted trajectory of the vehicle body corner corresponding to the forward / backward movement are also displayed. This display is terminated by the release processing for all corners SW in step SB-4 when all the detection distances of the distance sensor 28 are equal to or greater than the reference value as determined in step SB-3. If the switch is not selected, the process proceeds to B ′ according to the determination at step SB-1, and one or more detection distances of the distance sensor 28 at each corner are equal to or less than the reference value according to the determination at step SB-5. If the distance is approaching as determined in SB-6, the image of the corresponding corner is displayed in step SB-7 and the driver is warned in step SB-8.
[0031]
(Parking operation)
The conditions for displaying in the case of parking operation follow the processing flow of the operation shown in FIG. In this case as well, as in the case of the above-described two operations, assistance is only provided at low vehicle speeds. This flow starts when the driver selects the parking SW shown in FIG. In the case of left rear parking, the driver is SWP _L Or SWP for parking on the right back _R Will be selected. In the case of left rear parking by the determination of step SC-1 according to this selection, when the determination of step SC-2 is forward by the input of the position switch 23, the left rear image P is determined by step SC-4. _RL Parking frame range Z _I Over the range Z _I When the driving operation is performed so that the actual target parking space enters, the vehicle can be stopped at a position where reverse driving should be started. When the driver confirms this state and puts the shift lever in the reverse direction, the next two images P are displayed in step SC-5. _RL , P _RR Is displayed on the screen at the same time, and the predicted trajectory line L corresponding to the steering angle is displayed at each corner. _BSR Superimpose. The driver refers to this and performs the driving operation so as to enter the actual target parking space U ′ shown on the screen. This flow is terminated by releasing the switch in step SC-9 based on the shift determination to the parking range in step SC-8.
[0032]
By the way, also in this parking operation, the predicted locus line L corresponding to the steering angle is _BSR Instead, as shown in FIG. 14, the outermost extension line L which is the subject of the present invention. _BL , L _BR You may make it superimpose. In this case, the display timing is determined by putting the shift lever in the reverse direction, and the two back images P in step SC-5. _RL , P _RR It is effective to continue the display until the steering angle sensor 26 detects that the steering wheel has actually been turned off or until the end of the parking operation. In addition to this, the symbol W _I As shown by, the target parking frame reference line may be superimposed. The frame reference line indicates a position obtained by projecting a position with a predetermined width from the rear end position of the vehicle and the outermost side of the vehicle onto the ground. Therefore, this frame reference line is effective for use as a guide for guiding the vehicle to the center position in the target parking space U ′ and to the back.
[0033]
(Blind corner)
The conditions for display in the case of a blind corner follow the outline processing flow of blind corner display shown in FIG. As described in the main flow, this flow operates only at low vehicle speeds. Then, the driver steps on the brake and the blind SW (front left, front right, rear left, rear right) shown in FIG. 2 is selected in step SD-1 based on the input of the brake switch 24. The one-side screen shown in FIG. 29 or the screen (1) or (2) shown in FIG. 29 is displayed according to the forward / reverse movement based on the input determination of the position switch 23 in step SD-2. In the case of screen (1), the front left image P _FL And front right image P _FR Car picture M _I And the distance marker L as shown in FIG. _K Superimpose. And this distance marker L _K Indicates the driver's gaze direction, making it easier to understand the point of gaze. In the figure, the symbol N ′ indicates a visual field obstacle.
[0034]
(Rear blind spot confirmation)
FIG. 16 shows a display flow for confirming the rear blind spot. This display indicates the blinker operation in step SE-3 when the vehicle is traveling at a speed higher than the set vehicle speed, two lanes or more on one side in step SE-1 as determined from the navigation information, and not near the intersection in step SE-2. When it is determined, it is executed by determining that it is overtaking or interrupted, and the corresponding rear image is displayed in step SE-4 or step SE-5. The driver performs a driving operation with reference to this image. Regarding lane determination, the number of lanes on the road on which the vehicle is traveling, the lane on which the vehicle is traveling, etc. can be easily understood by using the white line detection technology described later. Moreover, the same thing can be easily performed even if the signal of the optical beacon installed on the main road is used. Even by using these pieces of information, it is possible to easily determine overtaking or interruption in combination with the winker operation. Of course, when combined with navigation information, it is natural that information accuracy is further improved.
[0035]
(Check white line)
FIG. 17 shows a processing flow for white line confirmation. As a condition, when the headlight lighting judgment at step SF-1 is established at a certain vehicle speed or more and the wiper operation judgment at step SF-2 is established, it is judged that the vehicle is traveling in the rain at night, and step SF- The side lamp is turned on at 4 to irradiate the road surface ahead from the left side, and the screen is displayed at step SF-5. In the above flow, if judgment at night or in the rain is not established, the process proceeds to the processing process for confirming the blind spot at the rear. Will jump back and display the rear blind spot screen. In addition, lighting of the side lamp is not necessarily a necessary condition. This is because the front left and right cameras C _FL, C _FR Since the direction of the optical axis differs greatly, even if the light of the oncoming vehicle is specularly reflected on the water film, it will not enter the CCD of the camera and will not be dazzled, and the reflected light from the white line will be irregularly reflected. It is because it is possible to catch it. Therefore, it is possible to detect sufficiently from the side of the own vehicle to the front slightly by using the illumination of the oncoming vehicle, the following vehicle, the adjacent vehicle, and the own vehicle. Thus, the side lamp lighting is for making it easier to see.
[0036]
(Detection of white line)
In addition, the driving assistance apparatus of this embodiment can be used also for the detection of a white line. The specific method for detecting the white line is well known and will not be described, but most of them have a camera installed in the vicinity of the windshield in the vehicle interior. On the other hand, in this device, white line detection can be performed using the two cameras at the left and right corners of the vehicle provided for blind spot detection as described above. This makes it possible to accurately detect the relative positional relationship with the vehicle body by detecting the horizontal white line in the vicinity of the vehicle using the width of the field of view in the lateral direction, which is a feature of the driving support device. As described in the white line display, it is possible to obtain an advantage that detection is possible even when it is raining at night or when it is foggy. Moreover, it is inexpensive because it is shared with other functions.
Next, another embodiment of the driving support device will be described.
According to another first aspect, an imaging device that is installed in a vehicle and that captures external information, a control device that processes an image captured by the imaging device, and a monitor that displays an image processed by the control device; In the driving support device, the control device lowers the outermost line of the vehicle vertically to the ground and displays the image captured by the imaging device on the monitor, and extends the line in the vehicle front-rear direction. And an image composition means for superimposing the image.
In this case, the extension line displayed on the monitor of the image is the outermost extension line in which the outermost line of the vehicle is lowered perpendicularly to the ground and the line is extended in the longitudinal direction of the vehicle, and is related to the specifications of the vehicle. Since it is a fixed line, the distance between the target and the outside position of the vehicle can always be confirmed on the monitor screen as the distance on the road surface regardless of the position or distance of the vehicle relative to the target. . Therefore, it is possible to easily grasp the positional relationship between the target and the vehicle from the stage before entering the actual steering operation corresponding to each operation, and the posture can be changed while observing the change in the positional relationship accompanying the steering operation. By correcting the vehicle, the host vehicle can be easily guided to the desired positional relationship with the target. Therefore, when the width of the target is a wall or column, the vehicle is easily stopped at the intended position by operating the handle so that the displayed line and the target are at the desired distance. Can be made.
According to another second embodiment, an imaging device that is installed in a vehicle and that captures external information, a control device that processes an image captured by the imaging device, and a monitor that displays an image processed by the control device; In the driving support apparatus, the control device includes image composition means for superimposing a tire outer extension line obtained by extending an outer tire outer line in the vehicle front-rear direction on a display of an image captured by the imaging device on a monitor. It is characterized by that.
In this case, the line displayed on the monitor of the image is a tire outer extension line obtained by extending the outer line of the tire in the vehicle front-rear direction, and is a fixed line. Therefore, the target and the vehicle tire are displayed on the monitor screen. The distance from the outside can always be confirmed as the distance on the road surface regardless of the position or distance of the vehicle relative to the target. Therefore, from the stage before entering the actual steering operation corresponding to each operation, it is possible to easily grasp the tire positional relationship between the target and the own vehicle, and while looking at the change in the positional relationship accompanying the steering operation, By correcting the vehicle, the host vehicle can be easily guided to the desired positional relationship with the target. Therefore, when the target is made into a groove or curb, the vehicle is easily stopped at the intended position by operating the handle so that the displayed line and the target are at the desired distance. Can be made.
According to another third embodiment, in order to easily understand the meaning of the displayed extension line, it is effective that the tire outer extension line is accompanied by a tire pattern.
In this case, in addition to the above-described effects, there is an effect that the meaning of the displayed extension line can be intuitively and instantly grasped.
According to another fourth embodiment, the extension line is accompanied by a picture representing a vertical plane with respect to the ground on the image, in order to facilitate understanding of the positional relationship between the displayed line and the ground on the image. Is effective.
In this case, in addition to the above effects, it is possible to obtain an effect that makes it easier to visually grasp the distance between the target on the ground and the outside of the vehicle.
[0037]
As described above, for the sake of convenience of understanding the technical idea of the present invention, some modifications have been described based on one embodiment, but the present invention is not limited to the illustrated embodiment or modification. Various specific configurations can be changed and implemented within the scope of the matters described in the individual claims.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing an installation posture of an imaging device in an embodiment of a driving support device to which the present invention is applied.
FIG. 2 is a block diagram showing a system configuration of the driving support apparatus.
FIG. 3 is a plan view schematically showing an arrangement of an imaging device and a distance detection device of a driving support device on a vehicle.
FIG. 4 is an explanatory diagram showing the relationship between the direction of an imaging device installed at each corner of a vehicle and a monitor display screen.
FIG. 5 is a cross-sectional view schematically illustrating a specific arrangement position and installation posture of an imaging device with respect to a vehicle corner.
FIG. 6 is a vehicle front view illustrating a specific installation position of the imaging apparatus.
FIG. 7 is a screen explanatory view illustrating a monitor display screen that displays the left front corner of the host vehicle.
FIG. 8 is a flowchart showing a processing flow of the entire system of the driving support device.
FIG. 9 is an explanatory diagram showing a monitor display screen at the time of edge alignment operation together with a positional relationship with each part of the vehicle.
FIG. 10 is a conceptual diagram showing a comparison of graphic examples of line display.
FIG. 11 is a flowchart showing a processing flow during an edge alignment operation.
FIG. 12 is a flowchart showing a processing flow during an obstacle avoiding operation.
FIG. 13 is a flowchart showing a processing flow during parking operation.
FIG. 14 is an explanatory diagram of a screen showing a modification of the display screen at the time of parking operation.
FIG. 15 is a flowchart showing a processing flow of blind corner display.
FIG. 16 is a flow chart showing a processing flow of a rear blind spot display.
FIG. 17 is a flowchart showing a processing flow during white line display.
[Explanation of symbols]
1 Control device (image composition device)
5 Display (monitor)
9 Vehicle
21 CCD camera (imaging device)
L _BL , L _BR Outermost extension line
L _TL Tire outer extension line
T _I Tire pattern
B _I A pattern representing a vertical plane

Claims

A first imaging device installed at the left front corner of the vehicle and capturing images , a second imaging device installed at the left rear corner of the vehicle and capturing images, and captured by the first and second imaging devices Driving support apparatus, comprising: a control device for processing a captured image; a monitor for displaying an image processed by the control device; a left-justified switch operated by a driver; and means for determining a position of a shift lever of the vehicle In
When the left switch is operated by the driver, the control device is taken in by the first and second imaging devices according to the position of the shift lever determined by the means for determining the position of the shift lever. The outermost line in which the outermost line of the vehicle is lowered perpendicularly to the ground and the outermost line is extended in the vehicle front-rear direction on the display on the monitor of the image selected by the means for selecting the selected image A driving support apparatus comprising: an image synthesizing unit that superimposes one of an extension line and a tire outer extension line obtained by extending an outer tire outer line in a vehicle longitudinal direction.

When the shift lever position determined by the means for determining the position of the shift lever of the vehicle is a reverse range, the means for selecting the image has each image captured by the first and second imaging devices. The driving support device according to claim 1, wherein both images are selected so as to be simultaneously displayed on a monitor.

The driving support device according to claim 1, wherein the tire outer extension line is accompanied by a tire pattern.

The driving support device according to any one of claims 1 to 3, wherein the outermost extension line and the tire outer extension line are accompanied by a pattern representing a vertical plane with respect to the ground on the image .