JP2005121495A - 情報表示装置および情報表示方法 - Google Patents

情報表示装置および情報表示方法 Download PDF

Info

Publication number
JP2005121495A
JP2005121495A JP2003357201A JP2003357201A JP2005121495A JP 2005121495 A JP2005121495 A JP 2005121495A JP 2003357201 A JP2003357201 A JP 2003357201A JP 2003357201 A JP2003357201 A JP 2003357201A JP 2005121495 A JP2005121495 A JP 2005121495A
Authority
JP
Japan
Prior art keywords
information
display device
display
host vehicle
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003357201A
Other languages
English (en)
Other versions
JP4574157B2 (ja
Inventor
Hideaki Tsuchiya
英明 土屋
Tsutomu Tanzawa
勉 丹沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2003357201A priority Critical patent/JP4574157B2/ja
Priority to US10/965,126 priority patent/US7356408B2/en
Priority to DE602004011164T priority patent/DE602004011164T2/de
Priority to EP04024625A priority patent/EP1524638B9/en
Publication of JP2005121495A publication Critical patent/JP2005121495A/ja
Application granted granted Critical
Publication of JP4574157B2 publication Critical patent/JP4574157B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Abstract

【課題】ナビゲーション情報とともに走行状況を表示する情報表示装置において、利用者の利便性の向上を図る。
【解決手段】認識部4は、プレビューセンサ2における検出結果基づいて、自車両前方の対象物を認識するとともに、認識された対象物がその属する種類に分類される。制御部5は、認識部により認識された対象物とナビゲーション情報とに基づいて、表示すべき情報を決定する。表示装置6は、制御部5によって制御され、決定された情報を表示する。この場合、制御部5は、認識された対象物を示すシンボルをナビゲーション情報に重ねて表示するように表示装置6を制御するとともに、それぞれが対象物が属する種類に対応した複数の異なる表示カラーを用いてシンボルを表示するように表示装置6を制御する。
【選択図】図1

Description

本発明は、情報表示装置および情報表示方法に係り、特に、自車両前方の走行状況とナビゲーション情報とを重ねて表示する手法に関する。
近年、車両に設けられたディスプレイに、ナビゲーション情報とともに、前方の走行状況を表示する情報表示装置が注目されている。例えば、特許文献1には、赤外線カメラによって撮影された赤外画像のうち、自車両が走行する領域に対応する部分画像を、地図画像に重ね合わせて表示画面上に表示する車両用表示装置が開示されている。この特許文献1によれば、必要性の低い部分がカットされた赤外画像を地図画像に重ね合わせることにより、障害物の種類や大きさなどの認識が容易となり、対象物の認知性の向上を図ることができる。また、特許文献2には、クルーズコントロール装置において、地図情報から生成した道路形状に周辺車両や追従車両の位置情報を重ねて表示する情報表示装置が開示されている。この特許文献2によれば、自車位置を示すマーク、追従車の位置を示すマーク、および追従車両以外の周辺車両位置を示すマークが、それぞれ色や模様を変えて道路上に重ねて表示される。
特開平11−250396号公報 特開2002−46504号公報
しかしながら、上記の特許文献1によれば、赤外画像をそのまま表示するに過ぎず、利用者は動的に変化する画像から障害物を認識することとなる。また、特許文献2によれば、自車両、追従車両および周辺車両が異なる表示形態で表示されるものの、その表示からは、それ以上の情報を得ることはできない。このような情報表示装置は、安全かつ快適なドライブを楽しむための装置であり、利用者にとっての使い勝手のよさが付加価値となり、購買意欲があおられることになる。そのため、この類の装置では、使い勝手がよく、かつ、その装置にユニークな機能が求められている。
本発明は、かかる事情に鑑みてなされたものであり、その目的は、ナビゲーション情報と走行状況とを重ねて表示する情報表示装置において、利用者の利便性の向上を図ることである。
かかる課題を解決するために、第1の発明は、自車両の走行に応じたナビゲーション情報と、自車両前方の走行状況を検出するプレビューセンサから得られた情報とを重ねて表示する情報表示装置において、プレビューセンサにおける検出結果に基づいて、自車両前方の対象物を認識するとともに、認識された対象物を対象物が属する種類に分類する認識部と、認識部により認識された対象物とナビゲーション情報とに基づいて、表示すべき情報を決定する制御部と、制御部によって制御され、決定された情報を表示する表示装置とを有する情報表示装置を提供する。ここで、制御部は、認識された対象物を示すシンボルとナビゲーション情報とを重ねて表示するように表示装置を制御するとともに、それぞれが対象物が属する種類に対応した複数の異なる表示カラーを用いてシンボルを表示するように表示装置を制御する。
ここで、第1の発明において、認識部は、少なくとも自動車、二輪車、歩行者および障害物のいずれかに認識された対象物を分類することが好ましい。
また、第2の発明は、自車両の走行に応じたナビゲーション情報と、自車両前方の走行状況を検出するプレビューセンサから得られた情報とを重ねて表示装置に表示する情報表示方法において、コンピュータが、プレビューセンサにおける検出結果に基づいて、自車両前方の対象物を認識するとともに、認識された対象物を対象物が属する種類に分類する第1のステップと、コンピュータが、認識された対象物とナビゲーション情報とに基づいて、表示すべき情報を決定するとともに、表示装置を制御することにより、決定された情報を表示する第2のステップとを有する情報表示方法を提供する。ここで、第2のステップは、認識された対象物を示すシンボルとナビゲーション情報とを重ねて表示するように表示装置を制御するとともに、それぞれが対象物が属する種類に対応した複数の異なる表示カラーを用いてシンボルを表示するように表示装置を制御する。
ここで、第2の発明において、第1のステップは、少なくとも自動車、二輪車、歩行者および障害物のいずれかに認識された対象物を分類するステップであることが好ましい。
また、第3の発明は、自車両の走行に応じたナビゲーション情報と、自車両前方の走行状況を検出するプレビューセンサから得られた情報とを重ねて表示する情報表示装置において、プレビューセンサにおける検出結果に基づいて、自車両前方の対象物を認識するとともに、認識された対象物の自車両に対する危険の程度を示す危険度を算出する認識部と、認識部により認識された対象物とナビゲーション情報とに基づいて、表示すべき情報を決定する制御部と、制御部によって制御され、決定された情報を表示する表示装置とを有する情報表示装置を提供する。ここで、制御部は、認識された対象物を示すシンボルとナビゲーション情報とを重ねて表示するように表示装置を制御するとともに、それぞれが危険度に対応した複数の異なる表示カラーを用いてシンボルを表示するように表示装置を制御する。
さらに、第4の発明は、自車両の走行に応じたナビゲーション情報と、自車両前方の走行状況を検出するプレビューセンサから得られた情報とを重ねて表示装置に表示する情報表示方法において、コンピュータが、プレビューセンサから得られた情報に基づいて、自車両前方の対象物を認識するとともに、認識された対象物の自車両に対する危険の程度を示す危険度を算出する第1のステップと、コンピュータが、認識された対象物とナビゲーション情報とに基づいて、表示すべき情報を決定するとともに、表示装置を制御することにより、決定された情報を表示する第2のステップとを有する情報表示方法を提供する。ここで、第2のステップは、認識された対象物を示すシンボルとナビゲーション情報とを重ねて表示するように表示装置を制御するとともに、それぞれが危険度に対応した複数の異なる表示カラーを用いてシンボルを表示するように表示装置を制御する。
ここで、第3の発明または第4の発明において、表示カラーは、危険度に応じて三色以上に設定されていることが好ましい。
本発明によれば、プレビューセンサにおける検出結果に基づいて、自車両前方に存在する対象物が認識される。そして、この対象物を示すシンボルとナビゲーション情報とが重ねて表示される。この場合、表示されるシンボルは、認識された対象物に応じて異なる表示カラーで表示されるように表示装置が制御される。そのため、色彩によって対象物の違いを判断することができるので、利用者の認視性の向上を図ることができる。その結果、利用者の利便性の向上を図ることができる。
図1は、本実施形態にかかる情報表示装置1の全体構成を示すブロック図である。自車両前方の走行状況を検出するプレビューセンサ2としては、ステレオカメラおよび画像処理系で構成された周知のステレオ画像処理装置を用いることができる。
車両前方の景色を撮像するステレオカメラは、例えば、ルームミラー近傍に取付けられている。このステレオカメラは、一対のカメラ20,21で構成されており、それぞれのカメラ20,21には、イメージセンサ(例えば、CCDまたはCMOSセンサ等)が内蔵されている。メインカメラ20は、ステレオ画像処理を行う際に必要な基準画像を撮像し、サブカメラ21は、比較画像を撮像する。互いの同期が取れている状態において、カメラ20,21から出力された各アナログ画像は、A/Dコンバータ22,23により、所定の輝度階調(例えば、256階調のグレースケール)のデジタル画像に変換される。
デジタル化された一対の画像データは、画像補正部24において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ20,21の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
このような画像処理を経て、メインカメラ20より基準画像データが得られ、サブカメラ21より比較画像データが得られる。これらの画像データは、各画素の輝度値(0〜255)の集合である。ここで、画像データによって規定される画像平面は、i−j座標系で表現され、画像の左下隅を原点として、水平方向をi座標軸、垂直方向をj座標軸とする。一フレーム相当のステレオ画像データは、後段のステレオ画像処理部25に出力されるとともに、画像データメモリ26に格納される。
ステレオ画像処理部25は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差の集合であり、個々の視差は画像平面上の位置(i,j)と対応付けられている。それぞれの視差は、基準画像の一部を構成する所定面積(例えば、4×4画素)の画素ブロック毎に1つ算出される。
ある画素ブロック(相関元)に関する視差を算出する場合、この画素ブロックの輝度特性と相関を有する領域(相関先)を比較画像において特定する。カメラ20,21から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックのj座標と同じ水平線(エピポーラライン)上を探索すればよい。ステレオ画像処理部25は、相関元のi座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する(ステレオマッチング)。そして、原則として、最も相関が高いと判断される相関先(相関先の候補の内のいずれか)の水平方向のずれ量を、その画素ブロックの視差とする。ステレオ画像処理部25のハードウェア構成については、特開平5−114099号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置(i,j)と対応付けられた視差の集合は、距離データメモリ27に格納される。
マイクロコンピュータ3は、CPU、ROM、RAM、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部4と、制御部5とを有する。認識部4は、プレビューセンサ2における検出結果に基づいて、自車両前方の対象物を認識するとともに、認識された対象物を、この対象物が属する種類に分類する。認識部4が認識すべき対象物は、典型的に、立体物であり、本実施形態では、自動車、二輪車、歩行者および障害物(例えば、道路上の落下物、道路工事用のパイロンや道路脇の立木など)の四種類がこれに該当する。制御部5は、認識部4によって認識された対象物と、ナビゲーション情報とに基づいて、表示装置6に対して表示すべき情報を決定する。そして、制御部5は、表示装置6を制御することにより、認識された対象物を示すシンボルとナビゲーション情報とを重ねて表示する。そのため、マイクロコンピュータ3のROMには、対象物(本実施形態では、自動車、二輪車、歩行者および障害物)を示すシンボルが、所定の形式(例えば、画像やワイヤーフレームモデル)のデータで格納されている。そして、これらの対象物を示すシンボルは、それぞれの対象物が属する種類に対応した複数の異なる表示カラーを用いて表示される。また、認識部4は、対象物の認識結果に基づいて、ドライバーへの警報が必要と判定した場合には、表示装置6やスピーカ7を動作させ、ドライバーに注意喚起を促すことができる。また、認識部4は、必要に応じて制御装置8を制御し、シフトダウン、ブレーキコントロールなどの車両制御を行ってもよい。
ここで、ナビゲーション情報は、自車両の現在位置や自車両の予定経路を地図情報とともに表示するために必要な情報であり、周知のナビゲーションシステム9から取得することができる。このナビゲーションシステム9は、図1には明記されていないが、車速センサ、ジャイロスコープ、GPS受信機、地図データ入力部、およびナビ制御部を主体に構成されている。車速センサは車両の速度を検出するセンサであり、ジャイロスコープは車両に加わる回転運動の角速度に基づいて車両の方位角変化量を検出する。GPS受信機は、アンテナを介し、GPS用の人工衛星から送信された電波を受信し、車両の位置、方位(進行方向)などといった測位情報を検出する。地図データ入力部は、一般にCD−ROMやDVDといった記録媒体に格納された地図情報のデータ(以下「地図データ」という)をシステム9に入力するための装置である。ナビ制御部は、GPS受信機から得られる測位情報、或いは車速に応じた車両の移動距離および車両の方位変化量に基づいて、車両の現在位置を算出する。算出された現在位置、およびこの現在位置に対応した地図データは、ナビゲーション情報として上記の制御部5に対して出力される。
図2は、本実施形態にかかる情報表示処理の手順を示したフローチャートである。このフローチャートに示すルーチンは所定間隔毎に呼び出され、マイクロコンピュータ3によって実行される。ステップ1において、プレビューセンサ2における検出結果、すなわち、自車両前方の走行状況を認識するために必要な情報が取得される。プレビューセンサ2として機能するステレオ画像処理装置では、このステップ1において、距離データメモリ27に格納された距離データが読み込まれる。なお、必要に応じて、画像データメモリ26に格納された画像データも読み込まれる。
ステップ2において、自車両前方に存在する立体物が認識される。立体物認識では、まず、グループフィルタ処理によって距離データに含まれるノイズ、すなわち、信頼性が低いと思われる視差が除去される。ノイズ等の影響によるミスマッチにより生じた視差は、周囲の視差の値と大きく異なり、かつ、その視差と同様の値を有するグループの面積が比較的小さくなるという特性がある。そこで、それぞれの画素ブロックに関して算出された視差について、その上下および左右方向に隣接した画素ブロックにおける視差との変化量が所定のしきい値以内のものをグループ化する。そして、グループの面積の大きさが検出され、所定の大きさ(例えば2画素ブロック)よりも大きな面積を有するグループが有効グループと判断される。一方、所定の大きさ以下の面積を有するグループに属する距離データ(孤立距離データ)は、算出された視差の信頼性が低いと判断され、距離データから除去される。
つぎに、グループフィルタ処理によって抽出された視差と、この視差に対応する画像平面上の座標位置とに基づいて、周知の座標変換式を用いて、実空間上の位置が算出される。そして、算出された実空間上の位置と、道路面の位置とを比較することにより、道路面よりも上に位置する視差、すなわち、立体物に相当する視差(以下「立体物視差」という)が抽出される。道路面の位置は、道路形状を規定する道路モデルを算出することにより、特定可能である。道路モデルは、実空間の座標系において、水平方向および垂直方向における直線式で表現され、この直線式のパラメータを実際の道路形状に合致するような値に設定することにより、算出される。路面上に描かれた白線は道路面と比較して高輝度であるという知得に基づき、画像データが参照される。この画像データに基づいて、道路の幅方向の輝度変化を評価することにより、画像平面上の左右の白線の位置が特定される。そして、この白線の画像平面上の位置に基づき、距離データを用いて白線の実空間上の位置が検出される。道路モデルは、道路上の白線を距離方向に複数区間に分割し、各区間における左右の白線を三次元の直線で近似し、これらを折れ線状に連結することにより、算出される。
つぎに、距離データが格子状に区分され、この格子状の区分毎に、各区分に属する立体物視差に関するヒストグラムが作成される。このヒストグラムは単位区分あたりに含まれる立体物視差の頻度の分布を示しており、このヒストグラムにおいて、ある立体物を示す視差の頻度は高くなる。そのため、作成されたヒストグラムにおいて、度数が判定値以上となる立体物視差を検出することにより、この検出された立体物視差を自車両前方に存在する立体物の候補として検出する。この際、立体物の候補までの距離も算出される。つぎに、隣接する区分において、算出された距離が近接する立体物の候補同士がグループ化され、各グループが立体物として認識される。認識された立体物は、左右の端部位置、中心位置および距離などがパラメータとして対応付けられる。なお、グループフィルタにおける具体的な処理手順、および立体物認識の具体的な処理手順については、特開平10−285582号公報に開示されているので、必要ならば参照されたい。
ステップ3において、認識された立体物が、その立体物が属する種類に分類される。認識された立体物は、例えば、以下の(1)〜(3)に示す条件に基づいて、分類される。
(1) 立体物の横方向の幅が判定値以下であるか
認識された立体物のうち、自動車は他の立体物(二輪車、歩行者および障害物)と比較して横方向の幅が大きいため、立体物の横幅を基準として、自動車と他の立体物とを切り分けることができる。そのため、適切に設定された判定値(例えば、1m)を用いることにより、立体物の横幅が判定値よりも大きな立体物は、その種類が自動車に分類される。
(2) 立体物の速度Vが判定値以下であるか
自動車を除く立体物のうち、二輪車は他の立体物(歩行者および障害物)と比較してその速度Vが大きいため、立体物の速度Vを基準として、二輪車と他の立体物とを切り分けることができる。そのため、適切に設定された判定値(例えば、10kn/h)を用いることにより、立体物の速度Vが判定値よりも大きな立体物は、その種類が二輪車に分類される。なお、立体物の速度Vは、現在の立体物の位置と所定時間前の立体物の位置とに基づいて算出される相対速度Vrと、現在の自車両の速度V0とに基づき、算出可能である。
(3) 速度Vが0であるか
自動車および二輪車を除く立体物のうち、障害物はその速度Vが0であるため、立体物の速度Vを判断基準として、歩行者と障害物とを切り分けることができる。そこで、その速度が0となる立体物は、その種類が障害物に分類される。
なお、これらの条件以外にも、立体物の高さを比較することにより、歩行者と自動車とを切り分けてもよい。また、実空間上での位置が白線位置(道路モデル)よりも外側に存在する立体物を歩行者と分類してもよいし、横方向に移動する立体物を、道路を横断する歩行者と分類してもよい。
ステップ4において、ナビゲーション情報と、認識された立体物とに基づいて、表示処理が行われる。まず、制御部5は、立体物の属する種類に基づいて、この立体物を表示装置6に表示するためのシンボルを決定する。図3は、シンボルの一例を示した模式図である。同図には、各種類に属する立体物を表示するためのシンボルが示されており、各シンボルはその種類を模したデザインとなっている。(a)はその種類が「自動車」と分類された立体物を表示するためのシンボルであり、同図(b)はその種類が「二輪車」と分類された立体物を表示するためのシンボルである。また、同図(c)はその種類が「歩行者」と分類された立体物を表示するためのシンボルであり、同図(d)はその種類が「障害物」と分類された立体物を表示するためのシンボルである。
例えば、立体物の種類が「二輪車」と分類されているケースでは、制御部5は、その立体物を示すシンボルとして、図3(b)に示すシンボルを表示するように表示装置6を制御する。なお、同一の種類に分類された立体物が2つ以上認識されているケース、或いは異なる種類に分類された立体物が2つ以上認識されているケースでは、各々認識された立体物の種類に対応したシンボルが表示されように表示装置6が制御される。
そして、制御部5は、次の(1),(2)に示す表示形態となるように表示装置6を制御する。
(1) シンボルとナビゲーション情報とを重ねて表示する
プレビューセンサ2を用いた立体物認識において、立体物の位置は、自車両を原点位置とした座標系(本実施形態では三次元座標系)で表現される。そこで、制御部5は、ナビゲーションシステム9から得られる自車両の現在位置を基準に、認識された立体物の位置を考慮した上で、各立体物に対応するシンボルと地図データとを重ね合わせる。この場合、道路モデルを参照し、地図データ上の道路位置と、道路モデルを基準とした立体物の位置とを対応付けることにより、より正確な位置にシンボルを表示することができる。
(2) シンボルを所定の表示カラーで表示する
地図データ上に表示されるシンボルは、その立体物の属する種類に対応して表示カラーが予め設定されている。本実施形態では、交通環境における弱者保護という観点から、最も注意すべき歩行者を示すシンボルには色彩的に目立つ赤色、次に注意すべき二輪車を示すシンボルには黄色の表示カラーが設定されている。また、自動車を示すシンボルには青色、障害物を示すシンボルには緑色の表示カラーが対応付けられている。そのため、制御部5は、シンボルを表示する際には、そのシンボルを、立体物が属する種類に応じた表示カラーで表示されるように表示装置6を制御する。
図4は表示装置6の表示状態を示す説明図である。同図には、自動車が二台、二輪車が一台、歩行者が一人だけ認識されるケースにおいて、いわゆる、ドライバーズアイと呼ばれる手法を用いて地図データが表示されており、その上に各立体物を示すシンボルが重ねて表示されている。上述したように、表示装置6に表示されるシンボルは、その種類によって表示カラーが設定されており、同一の種類に分類された立体物を示すシンボルのみが同一の表示カラーで表示される。
なお、同図に示すように、制御部5は、上記の(1),(2)の条件以外にも、シンボルに遠近感が表現されるように、表示装置6を制御してもよい。このケースでは、認識された立体物から自車両までの距離に応じ、遠方に存在する立体物ほど、そのシンボルの表示サイズが小さくなる。また、制御部5は、位置的に遠方に表示されるシンボルと、それよりも近い位置に表示されるシンボルとがオーバーラップするようなケースでは、前者のシンボルが後者のシンボルよりも上面側に表示されるように、表示装置6を制御してもよい。これにより、遠方のシンボルが、近傍のシンボルによって覆い隠されるため、シンボルの認視性が向上するとともに、シンボル間の位置的な前後関係を表現することができる。
このように、本実施形態によれば、プレビューセンサにおける検出結果に基づいて、自車両前方に存在する対象物(本実施形態では、立体物)が認識される。また、認識された対象物は、プレビューセンサにおける検出結果に基づいて、その立体物が属する種類に分類される。そして、この認識された対象物を示すシンボルとナビゲーション情報とが重ねて表示される。この場合、表示されるシンボルは、分類された種類に対応した表示カラーとなるように表示装置が制御される。そのため、色彩によって対象物の種類の違い認識することができるので、利用者(典型的には、ドライバー)による認視性の向上を図ることができる。また、注意喚起の程度に応じて表示カラーを使い分けることにより、ドライバーが注意すべき立体物の順位を、色彩から経験的に把握することができる。その結果、従来にはない機能により、利便性の向上を図ることができるので、ユーザーフレンドリーといった観点から、商品訴求力の向上を図ることができる。
なお、認識されたすべての立体物に対応するシンボルを表示した場合、走行状況を詳細に表示するといった点で有利であるものの、画面上に表示される情報量が増える。すなわち、自車両から遠方に存在する先行車のように、運転に直接関係のない情報までも表示されることにもなりかねない。そこで、不要な情報を排除するという観点から、自車両から近い複数個の立体物を選択し、この選択された立体物に対応するシンボルのみを表示してもよい。ただし、もっとも保護すべき歩行者は、優先的に選択するといったように、その選択手法は任意に決定することができる。また、本実施形態では立体物を4種類に分類したが、プレビューセンサ2によって認識可能な範囲内において、これよりも細かな種類に分類してもよい。
(第2の実施形態)
第2の実施形態にかかる情報表示処理が、第1の実施形態のそれと相違する点は、認識された立体物の自車両に対する危険の程度(具体的には、衝突可能性)に応じて、シンボルの表示カラーが設定されている点である。そのため、第2の実施形態では、認識された立体物について、自車両に対する危険の程度を示す危険度Tが認識部4によってさらに算出される。そして、認識された立体物を示すシンボルが、それぞれが立体物の危険度Tに対応した複数の異なる表示カラーを用いて表示される。
具体的には、まず、図3におけるステップ1〜3に示す処理と同様に、プレビューセンサ2における検出結果に基づいて、自車両前方に存在する立体物が認識されるとともに、その対象物が属する種類に分類される。そして、本実施形態では、ステップ3の後に、認識された対象物のそれぞれを演算対象として危険度Tが算出される。この危険度Tは、例えば、以下に示す数式1を用いて一義的に算出可能である。
(数式1)
T=K1・D+K2・Vr+K3・Ar
ここで、Dは対象物までの距離(m)であり、Vrは自車両と対象物との相対速度であり、Arは自車両と対象物との相対加速度である。また、パラメータK1〜K3は、各変数D,Vr,Arにかかる係数であり、予め実験やシミュレーションなどを通じて適切な値に設定されている。例えば、これらの係数K1〜K3が設定された数式1(危険度T)は、自車両が立体物に到達するまでの時間的な余裕を示す。このケースでは、この危険度Tが大きな対象物ほど、危険の程度が低いことを意味し(衝突可能性が小)、危険度Tが小さな対象物ほど、危険の程度が高いことを意味する(衝突可能性が大)。
そして、図3におけるステップ4に示す処理と同様に、ナビゲーション情報と、認識部4によって認識された立体物とに基づいて、表示処理が行われる。具体的には、まず、認識された立体物の属する種類に基づいて、表示すべきシンボルが決定される。そして、このシンボルとナビゲーション情報とが重ねて表示されるように表示装置6が制御される。この場合、表示されるシンボルは、その対応する立体物に関して算出された危険度Tに対応して表示カラーが予め設定されている。具体的には、危険度Tが第1の判定値以下となる対象物(危険度T≦第1の判定値)、すなわち、危険の程度が高い立体物は、そのシンボルが色彩的に目立つ赤色に設定されている。また、危険度Tが第1の判定値よりも大きく、かつ、この第1の判定値よりも大きな第2の判定値以下となる対象物(第1の判定値<危険度≦第2の判定値)、すなわち、危険の程度が比較的に高い立体物は、そのシンボルが黄色に設定されている。そして、危険度Tが第2の判定値よりも大きな対象物(第2の判定値<危険度T)、すなわち、危険の程度が低い立体物は、そのシンボルが青色に設定されている。
図5は、表示装置6の表示状態を示す説明図である。同図では、例示的に、前方の自動車が急ブレーキをかけているケースでの表示状態が示されている。この図5に示すように、危険度Tに対応して表示カラーを使い分けることにより、自車両に対する危険度の程度が高い(衝突の可能性が高い)前方の自動車を示すシンボルが赤色で表示される。そして、自車両の対する危険の程度が低い(衝突の可能性が低い)立体物を示すシンボルは、その危険の程度に応じて、黄色または青色の表示カラーで表示される。
このように本実施形態によれば、認識された対象物を示すシンボルとナビゲーション情報とが重ねて表示されるとともに、このシンボルが自車両に対する危険の程度に応じた表示カラーとなるように表示装置が制御される。そのため、色彩によって対象物の自車両に対する危険の程度の違いを認識することができるので、ドライバーによる認視性の向上を図ることができる。また、注意喚起の程度に応じて表示カラーを使い分けることにより、ドライバーが注意すべき立体物の順位を、色彩から経験則的に把握することができる。その結果、従来にはない機能により、利便性の向上を図ることができるので、ユーザーフレンドリーといった観点から、商品訴求力の向上を図ることができる。
なお、本実施形態では、危険度Tに応じて3つの表示カラーで表示を行っているが、これよりも多い表示カラーとなるように表示を行ってもよい。このケースでは、ドライバーに対してより細かなレンジで危険の程度を認識させることができる。
また、第1および第2の実施形態では、プレビューセンサ25として、ステレオ画像処理装置を用いたが、これ以外にも、単眼カメラ、レーザレーダ、ミリ波レーダといった周知の距離検出センサを単独で、或いは、これらを併用して用いてもよい。かかる手法であっても、上述した実施形態と同様の効果を奏することができる。
また、第1および第2の実施形態では、予め立体物の種類に応じてそのデザインが決定されたシンボルを用いたが、立体物の種類に拘わらず一種類のシンボルのみを表示してもよい。また、ステレオカメラによって撮像された画像データに基づいて、認識された立体物に相当する画像を表示してもよい。これらのケースであっても、表示カラーを相違させることにより、同一種類の立体物(或いは、立体物の危険の程度)を色彩から認識することができる。さらに、ドライバーズアイといった表示手法以外にも、その他の鳥瞰図的な手法(例えば、バードビュー)や、平面図的な手法を用いた表示手法にも本発明を適用することができる。
本実施形態にかかる情報表示装置の全体構成を示すブロック図 第1の実施形態にかかる情報表示処理の手順を示したフローチャート 表示シンボルの一例を示した模式図 表示装置の表示状態を示す説明図 表示装置の表示状態を示す説明図
符号の説明
1 情報表示装置
2 プレビューセンサ
3 マイクロコンピュータ
4 認識部
5 制御部
6 表示装置
7 スピーカ
8 制御装置
9 ナビゲーションシステム

Claims (8)

  1. 自車両の走行に応じたナビゲーション情報と、自車両前方の走行状況を検出するプレビューセンサから得られた情報とを重ねて表示する情報表示装置において、
    前記プレビューセンサにおける検出結果に基づいて、自車両前方の対象物を認識するとともに、前記認識された対象物を当該対象物が属する種類に分類する認識部と、
    前記認識部により認識された対象物と前記ナビゲーション情報とに基づいて、表示すべき情報を決定する制御部と、
    前記制御部によって制御され、前記決定された情報を表示する表示装置とを有し、
    前記制御部は、前記認識された対象物を示すシンボルと前記ナビゲーション情報とを重ねて表示するように前記表示装置を制御するとともに、それぞれが前記対象物が属する種類に対応した複数の異なる表示カラーを用いて前記シンボルを表示するように前記表示装置を制御することを特徴とする情報表示装置。
  2. 前記認識部は、少なくとも自動車、二輪車、歩行者および障害物のいずれかに前記認識された対象物を分類することを特徴とする請求項1に記載された情報表示装置。
  3. 自車両の走行に応じたナビゲーション情報と、自車両前方の走行状況を検出するプレビューセンサから得られた情報とを重ねて表示する情報表示装置において、
    前記プレビューセンサにおける検出結果に基づいて、自車両前方の対象物を認識するとともに、当該認識された対象物の自車両に対する危険の程度を示す危険度を算出する認識部と、
    前記認識部により認識された対象物と前記ナビゲーション情報とに基づいて、表示すべき情報を決定する制御部と、
    前記制御部によって制御され、前記決定された情報を表示する表示装置とを有し、
    前記制御部は、前記認識された対象物を示すシンボルと前記ナビゲーション情報とを重ねて表示するように前記表示装置を制御するとともに、それぞれが前記危険度に対応した複数の異なる表示カラーを用いて前記シンボルを表示するように前記表示装置を制御することを特徴とする情報表示装置。
  4. 前記表示カラーは、前記危険度に応じて三色以上に設定されていることを特徴とする請求項3に記載された情報表示装置。
  5. 自車両の走行に応じたナビゲーション情報と、自車両前方の走行状況を検出するプレビューセンサから得られた情報とを重ねて表示装置に表示する情報表示方法において、
    コンピュータが、前記プレビューセンサにおける検出結果に基づいて、自車両前方の対象物を認識するとともに、前記認識された対象物を当該対象物が属する種類に分類する第1のステップと、
    前記コンピュータが、前記認識された対象物と前記ナビゲーション情報とに基づいて、表示すべき情報を決定するとともに、前記表示装置を制御することにより、前記決定された情報を表示する第2のステップとを有し、
    前記第2のステップは、前記認識された対象物を示すシンボルと前記ナビゲーション情報とを重ねて表示するように前記表示装置を制御するとともに、それぞれが前記対象物が属する種類に対応した複数の異なる表示カラーを用いて前記シンボルを表示するように前記表示装置を制御することを特徴とする情報表示方法。
  6. 前記第1のステップは、少なくとも自動車、二輪車、歩行者および障害物のいずれかに前記認識された対象物を分類するステップであることを特徴とする請求項5に記載された情報表示方法。
  7. 自車両の走行に応じたナビゲーション情報と、自車両前方の走行状況を検出するプレビューセンサから得られた情報とを重ねて表示装置に表示する情報表示方法において、
    コンピュータが、前記プレビューセンサから得られた情報に基づいて、自車両前方の対象物を認識するとともに、当該認識された対象物の自車両に対する危険の程度を示す危険度を算出する第1のステップと、
    前記コンピュータが、前記認識された対象物と前記ナビゲーション情報とに基づいて、表示すべき情報を決定するとともに、前記表示装置を制御することにより、前記決定された情報を表示する第2のステップとを有し、
    前記第2のステップは、前記認識された対象物を示すシンボルと前記ナビゲーション情報とを重ねて表示するように前記表示装置を制御するとともに、それぞれが前記危険度に対応した複数の異なる表示カラーを用いて前記シンボルを表示するように前記表示装置を制御することを特徴とする情報表示方法。
  8. 前記表示カラーは、前記危険度に応じて三色以上に設定されていることを特徴とする請求項7に記載された情報表示方法。
JP2003357201A 2003-10-17 2003-10-17 情報表示装置および情報表示方法 Expired - Lifetime JP4574157B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003357201A JP4574157B2 (ja) 2003-10-17 2003-10-17 情報表示装置および情報表示方法
US10/965,126 US7356408B2 (en) 2003-10-17 2004-10-14 Information display apparatus and information display method
DE602004011164T DE602004011164T2 (de) 2003-10-17 2004-10-15 Vorrichtung und Methode zur Anzeige von Informationen
EP04024625A EP1524638B9 (en) 2003-10-17 2004-10-15 Information display apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003357201A JP4574157B2 (ja) 2003-10-17 2003-10-17 情報表示装置および情報表示方法

Publications (2)

Publication Number Publication Date
JP2005121495A true JP2005121495A (ja) 2005-05-12
JP4574157B2 JP4574157B2 (ja) 2010-11-04

Family

ID=34614158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003357201A Expired - Lifetime JP4574157B2 (ja) 2003-10-17 2003-10-17 情報表示装置および情報表示方法

Country Status (1)

Country Link
JP (1) JP4574157B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037457A (ja) * 2007-08-02 2009-02-19 Denso Corp 運転支援システム
JP2009188810A (ja) * 2008-02-07 2009-08-20 Clarion Co Ltd 車両周辺映像表示装置
JPWO2011114815A1 (ja) * 2010-03-17 2013-06-27 本田技研工業株式会社 車両周辺監視装置
JP2017076432A (ja) * 2016-12-27 2017-04-20 エイディシーテクノロジー株式会社 車載用画像表示装置
KR101823029B1 (ko) * 2016-01-27 2018-01-31 대우조선해양 주식회사 선박의 장애물 관리 시스템 및 장애물 관리 방법
JP2018198071A (ja) * 2018-07-24 2018-12-13 エイディシーテクノロジー株式会社 車載用画像表示装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH07223488A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用周囲情報表示装置
JPH09166452A (ja) * 1995-12-14 1997-06-24 Pioneer Electron Corp 運転支援装置
JPH1069598A (ja) * 1996-08-29 1998-03-10 Fuji Heavy Ind Ltd 車両の衝突防止装置
JP2000211452A (ja) * 1999-01-20 2000-08-02 Toyota Motor Corp 走路形状表示装置および地図デ―タベ―ス記録媒体
JP2002046506A (ja) * 2000-04-24 2002-02-12 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2002049998A (ja) * 2000-04-24 2002-02-15 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002156233A (ja) * 2000-11-16 2002-05-31 Fuji Heavy Ind Ltd 車載用情報表示装置
JP2002342899A (ja) * 2001-05-14 2002-11-29 Denso Corp 運転支援装置及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH07223488A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用周囲情報表示装置
JPH09166452A (ja) * 1995-12-14 1997-06-24 Pioneer Electron Corp 運転支援装置
JPH1069598A (ja) * 1996-08-29 1998-03-10 Fuji Heavy Ind Ltd 車両の衝突防止装置
JP2000211452A (ja) * 1999-01-20 2000-08-02 Toyota Motor Corp 走路形状表示装置および地図デ―タベ―ス記録媒体
JP2002046506A (ja) * 2000-04-24 2002-02-12 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2002049998A (ja) * 2000-04-24 2002-02-15 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002156233A (ja) * 2000-11-16 2002-05-31 Fuji Heavy Ind Ltd 車載用情報表示装置
JP2002342899A (ja) * 2001-05-14 2002-11-29 Denso Corp 運転支援装置及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037457A (ja) * 2007-08-02 2009-02-19 Denso Corp 運転支援システム
JP2009188810A (ja) * 2008-02-07 2009-08-20 Clarion Co Ltd 車両周辺映像表示装置
JPWO2011114815A1 (ja) * 2010-03-17 2013-06-27 本田技研工業株式会社 車両周辺監視装置
US8988276B2 (en) 2010-03-17 2015-03-24 Honda Motor Co., Ltd. Vehicle surroundings monitoring device
KR101823029B1 (ko) * 2016-01-27 2018-01-31 대우조선해양 주식회사 선박의 장애물 관리 시스템 및 장애물 관리 방법
JP2017076432A (ja) * 2016-12-27 2017-04-20 エイディシーテクノロジー株式会社 車載用画像表示装置
JP2018198071A (ja) * 2018-07-24 2018-12-13 エイディシーテクノロジー株式会社 車載用画像表示装置

Also Published As

Publication number Publication date
JP4574157B2 (ja) 2010-11-04

Similar Documents

Publication Publication Date Title
US7356408B2 (en) Information display apparatus and information display method
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
JP4557288B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
US9121717B1 (en) Collision avoidance for vehicle control
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
US9056630B2 (en) Lane departure sensing method and apparatus using images that surround a vehicle
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
US9659497B2 (en) Lane departure warning system and lane departure warning method
US20150073705A1 (en) Vehicle environment recognition apparatus
JP2006209510A (ja) 画像認識装置及び画像認識方法
JP4901275B2 (ja) 走行誘導障害物検出装置および車両用制御装置
WO2018116841A1 (ja) 物体検出装置
US20140002655A1 (en) Lane departure warning system and lane departure warning method
JP2014006885A (ja) 段差認識装置、段差認識方法及び段差認識用プログラム
JP4721278B2 (ja) 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置
JP5188429B2 (ja) 環境認識装置
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
EP3859390A1 (en) Method and system for rendering a representation of an evinronment of a vehicle
JP5825713B2 (ja) 車両用危険場面再現装置
JP2005038225A (ja) 車線追従装置
JP2005202787A (ja) 車両用表示装置
JP4574157B2 (ja) 情報表示装置および情報表示方法
JP6548312B2 (ja) 画像処理装置
JP4398216B2 (ja) 情報表示装置および情報表示方法
JP7414782B2 (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100818

R150 Certificate of patent or registration of utility model

Ref document number: 4574157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250