JP2011109170A - 車両周囲表示装置、車両周囲表示方法 - Google Patents

車両周囲表示装置、車両周囲表示方法 Download PDF

Info

Publication number
JP2011109170A
JP2011109170A JP2009258919A JP2009258919A JP2011109170A JP 2011109170 A JP2011109170 A JP 2011109170A JP 2009258919 A JP2009258919 A JP 2009258919A JP 2009258919 A JP2009258919 A JP 2009258919A JP 2011109170 A JP2011109170 A JP 2011109170A
Authority
JP
Japan
Prior art keywords
vehicle
dimensional object
obstacle
display
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009258919A
Other languages
English (en)
Inventor
Kunio Midorikawa
邦郎 緑川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2009258919A priority Critical patent/JP2011109170A/ja
Priority to PCT/JP2010/066325 priority patent/WO2011058822A1/ja
Publication of JP2011109170A publication Critical patent/JP2011109170A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 従来、車載装置において、車両の周囲を画像として表示するとともに、コーナーセンサー等により障害物の存在を検知して、車両の周囲の画像上に当該コーナーセンサーが障害物を検知した旨の表示を行う技術がある。しかし、そのような技術では、障害物が付近に存在することを示すことはできるが、運転者は障害物の具体的な形状をイメージし難い。
本発明の目的は、運転者に車両の周囲の立体物の配置状況をよりわかりやすく示す技術を提供することにある。
【解決手段】
本発明の車両周囲表示装置は、車両の周囲を撮像するとともに車両の周囲に存在する立体物の高さを検知して、立体物の高さが車両にとって危険な高さにある場合に、画像に含まれる危険な障害物を特徴付けて表示する。
【選択図】図7

Description

本発明は、車載装置の車両周囲画像の表示に関するものである。
従来、車載装置において、車両の周囲を画像として表示するとともに、コーナーセンサー等により障害物の存在を検知して、車両の周囲の画像上に当該コーナーセンサーが障害物を検知した旨の表示を行う技術がある。
特許文献1には、このような車載装置についての技術が記載されている。
特開2007−180622号公報
上記のような車載装置では、障害物が付近に存在することを示すことはできるが、運転者は障害物の高さが分からず、具体的な状況を想定し難い。
本発明の目的は、運転者に車両の周囲の立体物の状況をよりわかりやすく示す技術を提供することにある。
上記課題を解決すべく、本発明に係る車両周囲表示装置は、車両の周囲を撮像する撮像手段と、前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定手段と、前記撮像手段にて撮像した画像を危険判定手段により危険と判定された障害物について特徴付けて表示する表示手段と、を備えたことを特徴とする。
また、本発明の車両周囲表示方法は、車両に搭載される車載装置による車両周囲表示方法であって、前記車載装置は、車両の周囲を撮像する撮像手段と、前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、を備え、前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定ステップと、前記撮像手段にて撮像した画像を危険判定ステップにおいて危険と判定された障害物について特徴付けて表示する表示ステップと、を実施することを特徴とする。
図1は、ナビゲーション装置の概略構成図である。 図2は、カメラの搭載位置と障害物センサの搭載位置とを示す図である。 図3は、撮像画像を地上面に投影する様子を示す図である。 図4は、演算処理部の機能構成図である。 図5は、取得情報テーブルの構成を示す図である。 図6は、危険物表示処理のフロー図である。 図7は、画面表示例を示す図である。 図8は、変形例に係る画面表示例を示す図である。 図9は、別の変形例に係る障害物の高さの算出原理を説明する図である。
以下に、本発明の一実施形態を適用した車載装置であるナビゲーション装置100について、図面を参照して説明する。
図1に、ナビゲーション装置100の構成図を示す。
ナビゲーション装置100は、演算処理部1と、ディスプレイ2と、記憶装置3と、音声入出力装置4(音声入力装置としてマイクロフォン41、音声出力装置としてスピーカ42を備える)と、入力装置5と、ROM装置6と、車速センサ7と、ジャイロセンサ8と、GPS(Global Positioning System)受信装置9と、FM多重放送受信装置10と、ビーコン受信装置11と、カメラ12と、障害物センサ13と、を備えている。
演算処理部1は、様々な処理を行う中心的ユニットである。例えば各種センサ7,8やGPS受信装置9、FM多重放送受信装置10等から出力される情報を基にして現在地を検出する。また、得られた現在地情報に基づいて、表示に必要な地図データを記憶装置3あるいはROM装置6から読み出す。
また、演算処理部1は、読み出した地図データをグラフィックス展開し、そこに現在地を示すマークを重ねてディスプレイ2へ表示する。また、記憶装置3あるいはROM装置6に記憶されている地図データ等を用いて、ユーザから指示された出発地(現在地)と目的地とを結ぶ最適な経路(推奨経路)を探索する。また、スピーカ42やディスプレイ2を用いてユーザを誘導する。
また、演算処理部1は、カメラ12および障害物センサ13を用いて、車両の周囲の画像に対し、障害物の高さを反映させた画像を作成し、ディスプレイ2に表示させる。
その際、演算処理部1は、車両と接触する可能性のある障害物を強調して表示する。
ナビゲーション装置100の演算処理部1は、各デバイス間をバス25で接続した構成である。演算処理部1は、数値演算及び各デバイスを制御するといった様々な処理を実行するCPU(Central Processing Unit)21と、記憶装置3から読み出した地図データ、演算データなどを格納するRAM(Random Access Memory)22と、プログラムやデータを格納するROM(Read Only Memory)23と、各種ハードウェアを演算処理部1と接続するためのI/F(インターフェイス)24と、を有する。
図2(a)は、車両300の後方に取り付けられたカメラ12を示す。カメラ12は、やや下を向いており、車両の後方の地上面をCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を用いて撮像する。
図2(b)は、車両300の後方に取り付けられた障害物センサ13の具体例を示す。障害物センサ13Uは、車両300の背面の上方に取り付けられており、障害物センサ13Lは、車両300の背面の下方に取り付けられている。
また、障害物センサ13U、13Lは、地面と水平に超音波(電波または光でもよい)を発射して立体物60、61、62により反射される反射波を捉え、障害物との距離を特定する。
また、障害物センサ13U、13Lは、地面と水平を保ったまま左右に所定の範囲まで動いて障害物を検知することが可能であり、その向きと障害物との距離とを取得することができる。
図3は、図2(a)のカメラ12にて撮像した画像を用いた地上投影画像の生成方法を説明するための図である。後述するカメラ画像処理部105は、カメラ12の視点Pの位置(車両内の所定位置を原点とする三次元空間における座標位置)と撮像方向(視線方向)Kを求める。そして、カメラ画像処理部105は、撮像画像510を、カメラ12の視点Pの位置から撮像方向Kに向けて、地上面520に投影し、地上投影画像530を生成する。なお、撮像方向Kは、撮像画像510の中心と垂直に交わる。また、カメラ12の視点Pから撮像画像510までの距離は、予め定められている。こうして生成される地上投影画像530は、車両の上空から車両周辺を鳥瞰したような画像となる。
図4は、演算処理部1の機能ブロック図である。
図示するように、演算処理部1は、主制御部101と、入力受付部102と、出力処理部103と、カメラ制御部104と、カメラ画像処理部105と、障害物距離高さ検知部106と、障害物合成部107と、危険度判定部108と、を有する。
主制御部101は、様々な処理を行う中心的な機能部であり、処理内容に応じて、他の処理部を制御する。また、GPS受信装置9等の情報に基づき、現在位置を特定する。また、随時、走行した日付および時刻と、位置と、を対応付けて、リンクごとに走行履歴を記憶装置3に記憶する。さらに、各処理部からの要求に応じて、現在時刻を出力する。
入力受付部102は、入力装置5またはマイクロフォン41を介して入力された使用者からの指示を受け付け、その要求内容に対応する処理を実行するように演算処理部1の各部を制御する。例えば、使用者が推奨経路の探索を要求したときは、目的地を設定するため、地図をディスプレイ2に表示する処理を出力処理部103に要求する。
出力処理部103は、表示させる画面情報を受け取り、ディスプレイ2に描画するための信号に変換してディスプレイ2に対して描画する指示を行う。例えば、カメラ画像処理部105により出力指示された画像等をディスプレイ2に描画させる。
カメラ制御部104は、カメラ12の動作を制御する。例えば、カメラ12の撮像の開始・終了のタイミングを設定する。また、撮像した画像のカメラ画像処理部105への送信を制御する。
カメラ画像処理部105は、カメラ12で撮像した画像を、画像データとして取得する。そして、取得した画像を、表示のための画像(地上投影画像)に変換する。
障害物距離高さ検知部106は、障害物センサ13を用いて、障害物を検知し、その障害物の方向と、障害物までの距離と、障害物の高さと、を特定する。
障害物合成部107は、障害物距離高さ検知部106により検知した障害物の位置と高さとを、カメラ12で撮像した画像に重畳させて(合成して)表示する画像データを作成する。
危険度判定部108は、車両の特性から、障害物が車両にとって危険か否かを判定する。
なお、上記した演算処理部1の各機能部、すなわち主制御部101、入力受付部102、出力処理部103、カメラ制御部104、カメラ画像処理部105、障害物距離高さ検知部106、障害物合成部107、危険度判定部108は、CPU21が所定のプログラムを読み込み実行することにより構築される。そのため、RAM22には、各機能部の処理を実現するためのプログラムが記憶されている。
なお、上記した各構成要素は、ナビゲーション装置100の構成を理解容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。ナビゲーション装置100の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
また、各機能部は、ハードウェア(ASIC、GPUなど)により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
図1の説明に戻る。
ディスプレイ2は、演算処理部1等で生成されたグラフィックス情報を表示するユニットである。ディスプレイ2は、液晶ディスプレイ、有機ELディスプレイなどで構成される。
記憶装置3は、HDD(Hard Disk Drive)や不揮発性メモリカードといった、少なくとも読み書きが可能な記憶媒体で構成される。
この記憶媒体には、少なくとも、通常の経路探索装置に必要な地図データ(地図上の道路を構成するリンクのリンクデータを含む)と、カメラ12や障害物センサ13により検出した情報を格納する取得情報テーブル200と、が記憶されている。
図5は、取得情報テーブル200の構成を示す図である。取得情報テーブル200は、車両の方向ごとに、所定のタイミングで取得したカメラ12による画像データと、障害物センサ13により取得した障害物の方向と、障害物との距離と、障害物の高さと、を格納するテーブルである。
取得情報テーブル200は、方向を特定する方向201と、時を特定する時202と、カメラ12により撮像した画像データであるカメラ画像を格納するカメラ画像203と、障害物センサ13ごとに、検知した障害物の方向と、障害物との距離と、障害物の高さとを特定する情報を格納するセンサA204と、センサB205と、を含んでいる。
なお、センサA204と、センサB205とに限らず、障害物センサ13の実装数に応じた欄を有する。
すなわち、取得情報テーブル200には、所定の方向、時間について、周囲に存在した事物の状態を特定するための情報が格納される。
図1に戻って説明する。音声入出力装置4は、音声入力装置としてマイクロフォン41と、音声出力装置としてスピーカ42と、を備える。マイクロフォン41は、使用者やその他の搭乗者が発した声などのナビゲーション装置100の外部の音声を取得する。
スピーカ42は、演算処理部1で生成された使用者へのメッセージを音声信号として出力する。マイクロフォン41とスピーカ42は、車両の所定の部位に、別個に配されている。ただし、一体の筐体に収納されていても良い。ナビゲーション装置100は、マイクロフォン41及びスピーカ42を、それぞれ複数備えることができる。
入力装置5は、使用者からの指示を使用者による操作を介して受け付ける装置である。入力装置5は、タッチパネル51と、ダイヤルスイッチ52と、その他のハードスイッチ(図示しない)であるスクロールキー、縮尺変更キーなどで構成される。
タッチパネル51は、ディスプレイ2の表示面側に搭載され、表示画面を透視可能である。タッチパネル51は、ディスプレイ2に表示された画像のXY座標と対応したタッチ位置を特定し、タッチ位置を座標に変換して出力する。タッチパネル51は、感圧式または静電式の入力検出素子などにより構成される。
ダイヤルスイッチ52は、時計回り及び反時計回りに回転可能に構成され、所定の角度の回転ごとにパルス信号を発生し、演算処理部1に出力する。演算処理部1では、パルス信号の数から、回転角度を求める。
ROM装置6は、CD-ROMやDVD-ROM等のROM(Read Only Memory)や、IC(Integrated Circuit)カードといった、少なくとも読み取りが可能な記憶媒体で構成されている。この記憶媒体には、例えば、動画データや、音声データなどが記憶されている。
車速センサ7,ジャイロセンサ8およびGPS受信装置9は、ナビゲーション装置100で現在地(自車位置)を検出するために使用されるものである。
車速センサ7は、車速を算出するのに用いる値を出力するセンサである。
ジャイロセンサ8は、光ファイバジャイロや振動ジャイロ等で構成され、移動体の回転による角速度を検出するものである。
GPS受信装置9は、GPS衛星からの信号を受信し移動体とGPS衛星間の距離と距離の変化率とを3個以上の衛星に対して測定することで移動体の現在位置、進行速度および進行方位を測定するものである。
FM多重放送受信装置10は、FM多重放送局から送られてくるFM多重放送信号を受信する。FM多重放送には、VICS(Vehicle Information Communication System:登録商標)情報の概略現況交通情報、規制情報、SA/PA(サービスエリア/パーキングエリア)情報、駐車場情報、天気情報などやFM多重一般情報としてラジオ局が提供する文字情報などがある。
ビーコン受信装置11は、VICS情報などの概略現況交通情報、規制情報、SA/PA(サービスエリア/パーキングエリア)情報、駐車場情報、天気情報や緊急警報などを受信する。例えば、光により通信する光ビーコン、電波により通信する電波ビーコン等の受信装置である。
カメラ12、障害物センサ13は、上述したとおりである。
[動作の説明]
次に、ナビゲーション装置100の動作について説明する。
図6は、ナビゲーション装置100が、カメラ12と障害物センサ13とにより検出した車両の周囲の画像を出力する危険物表示処理の処理フロー図である。
このフローは、使用者から入力受付部102を介して、車両周辺の画像を表示するように要求された場合、または車両が後進(バック走行)する場合に行われる。
まず、ナビゲーション装置100は、カメラ12により撮像した画像を取得する(ステップS001)。
具体的には、カメラ画像制御部104は、カメラ12に撮像を行うように指示し、カメラ画像処理部105は、カメラ12から、撮像して得られた画像(「カメラ画像」という)を取得する。
次に、カメラ画像処理部105は、カメラ画像を地上面に投影する(ステップS002)。具体的には、カメラ画像処理部105は、ステップS001にて取得したカメラ画像に基づき、図3で示した方法により、地上面にカメラ画像を投影して、投影画像を生成する。また、カメラ画像処理部105は、取得情報テーブル200の方向201にカメラ画像の方向を特定する情報(例えば「後」など)を格納し、時202にカメラ画像を取得した時間を特定する情報を格納し、カメラ画像203に生成した投影画像を格納する。
次に、障害物距離高さ検知部106は、障害物センサ13から情報を取得する(ステップS003)。具体的には、障害物距離高さ検知部106は、障害物センサ13に対して、障害物の検知を行うよう指示する。障害物センサ13は、反射波により得られる対象物の存在位置に、障害物が存在すると検知する。
次に、障害物距離高さ検知部106は、障害物の距離、位置、高さを特定する(ステップS004)。具体的には、障害物距離高さ検知部106は、ステップS003にて検知した障害物までの距離と、反射波の方向と、障害物センサ13の取り付けられた高さと、に応じて、障害物の距離、位置、高さを特定する。
例えば、障害物センサ13Lが地上高20cmの高さに取り付けられていて、障害物センサ13Uが地上高70cmの高さに取り付けられている場合において、障害物センサ13Lは、車両の第一の方向に向って後ろ2mの距離に障害物となる立体物を検知し、障害物センサ13Uは車両の第二の方向に向って後ろ3mの距離に障害物となる立体物を検知した場合を説明する。
この場合、障害物距離高さ検知部106は、車両の後ろ方向について、手前(車両の後ろ2mの位置)の第一の方向に高さ20cm以上70cm未満の障害物が存在し、その奥(車両の後ろ3mの位置)の第二の方向に高さ70cm以上の障害物が存在すると特定する。
あわせて、障害物距離高さ検知部106は、取得情報テーブル200の方向201と障害物センサで検知する方向を特定する情報(例えば「後」など)とが対応し、時202と障害物センサで検知した時間とが対応するようなレコードを特定し、障害物センサ13の検知結果を格納する。なお、障害物センサ13が複数存在する場合(障害物センサ13U、13L等)には、センサごとに対応付けて検知結果を格納する。
次に、障害物合成部107は、投影画像に障害物を合成する(ステップS005)。具体的には、障害物合成部107は、ステップS002にて得た投影画像に、ステップS004にて特定した障害物のそれぞれを重ね合わせて、投影画像に映る物体のうち障害物の位置に存在する立体物を障害物として特定して、障害物センサ13にて検知した障害物の高さを当該立体物の高さと関連付ける。
次に、危険度判定部108は、障害物の高さから、危険度を算出する(ステップS006)。具体的には、危険度判定部108は、ステップS005にて関連付けた立体物ごとに、ステップS005にて関連付けられた高さを取得し、車両と接触する可能性があるか否かを判定することで、危険度を算出する。例えば、障害物の高さが20cm以上70cm未満の場合には、車両300と接触する可能性のある高さであるため、危険であると判定する。
次に、出力処理部103は、危険度と共に、立体物の高さを示す投影画像を出力する(ステップS007)。具体的には、出力処理部103は、ステップS005にて合成した画像の上に、ステップS006にて算出した危険度または危険度に応じた警告情報を重ねて、ディスプレイ2に表示出力する。
以上が、危険物表示処理の処理内容である。危険物表示処理を行う事によって、ナビゲーション装置100は、カメラにより取得した周囲の画像に映る障害物の高さを画面上に示すことができるようになる。そのため、運転者はより周囲の状況を把握し易くなる。
次に、危険物表示処理により表示される画面の例を、図7に示す。図7(a)は、車両300が、その後方に存在する立体物60、61、62に向かって後進している状況を示している。なお、立体物60は、高さが20cm未満であり、立体物61は、高さが20cm以上70cm未満であり、立体物62は、高さが70cm以上である。
図7(b)に示す画面400は、危険物表示処理により車両300の周囲の画像を表示した例である。
画面400には、車両300に相当する車両画像401が表示され、その後方の所定の範囲(障害物センサ13およびカメラ12により周囲の状況が取得できる範囲)が障害物検知範囲410として表示される。
画面400においては、図7(a)に示した立体物60は、カメラ画像を投影画像に投影するステップS002の処理により障害物460として若干変形されて鳥瞰的に表示される。同様に、図7(a)に示した立体物61、62は、それぞれ障害物461、462として若干変形されて鳥瞰的に表示される。
画面400においては、障害物460は、その高さが20cm未満であるために、障害物として認識されず、通常の立体物と同様にして表示される(説明の便宜のため、図7(b)上は点線で表示)。
また、障害物461は、その高さが20cm以上70cm未満であるために、危険な障害物として認識される。そのため、運転者の注意を引くように、例えば輪郭を強調され、あるいは通常よりもコントラストを高く着色されて、障害物として表示される(説明の便宜のため、図7(b)上は斜線で表示)。
また、障害物462は、その高さが70cm以上であるために、障害物461と同様に危険な障害物として認識される。そのため、運転者の注意を引くように、例えば輪郭を強調され、あるいは通常よりもコントラストを高く着色されて、障害物として表示される(説明の便宜のため、図7(b)上は横線で表示)。
その他、障害物461、462を表示すると共に、運転者に注意喚起を促すための音声(ブザー音や、音声言語によるアナウンス等)を出力する。
以上、本発明の一実施形態について説明した。
なお、図5に示した処理の順番は、本発明の目的が達成できる範囲において適宜変更が可能である。例えば、障害物センサ13の情報取得処理(ステップS003、S004)はS001やS002の処理より先に行うこともできる。
本発明の一実施形態によると、ナビゲーション装置100は、運転者に車両の周囲の立体物の配置状況をよりわかりやすく示すことができる。
本発明は、上記実施形態に制限されない。上記実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。
例えば、上記実施形態の危険物表示処理のステップS006〜S007において、検知した障害物の全てについて危険度を算出しているが、これに限られるものではない。
すなわち、危険度判定部108は、ステップS006において、車両300の進行方向も加味して危険度を算出するようにしてもよい。
具体的には、車両300のハンドルの切れ角(舵角)と、車両300の大きさ等の情報から、車両300の軌跡を予測し、当該軌跡に沿って車両300が走行した場合に接触する可能性がある障害物について、危険度を算出するようにしてもよい。
図8に、当該変形を適用したナビゲーション装置において示される画面500について説明する。図8(a)、図8(b)に示される画面500は、ともに、図7(a)と同様の状況における画面表示例である。
図8(a)では、画面600には、車両300に相当する車両画像601が表示され、その後方の所定の範囲(障害物センサ13およびカメラ12により周囲の状況が取得できる範囲)が障害物検知範囲610として表示される。
画面600においては、図7(a)に示した立体物60は、カメラ画像を投影画像に投影するステップS002の処理により障害物660として若干変形されて鳥瞰的に表示される。同様に、図7(a)に示した立体物61、62は、それぞれ障害物661、662として若干変形されて鳥瞰的に表示される。
ここで、車両300がハンドルを右に切っている場合には、危険度判定部108は、ステップS006において、車両300の走行速度を考慮して進行方向を算出し、ステップS007において軌跡620を表示する。
軌跡620のとおりに車両300が走行すると、車両300は障害物661と接触する可能性が高いため、危険度判定部108は、例えば「進路注意 接触するおそれがあります」との注意喚起のメッセージである注意表示602により運転者の注意を喚起する。
なお、その際、例えば接触する可能性が低い障害物662の強調表示をやめて、通常の立体物の表示としてもよい。
図8(b)に示した画面603は、図8(a)に示した画面600と基本的に同じであるが、車両300がハンドルを左に切っている点で相違する。
この場合、危険度判定部108は、ステップS006において、車両300の走行速度を考慮して進行方向を算出し、ステップS007において軌跡630を表示する。
軌跡630のとおりに車両300が走行すると、車両300は障害物661、障害物662と接触する可能性は低いため、危険度判定部108は、注意喚起のメッセージである注意表示602の表示を行わない。これにより、運転者に必要以上の緊張を与えない。
なお、その際、例えば接触する可能性が低い障害物661、障害物662の強調表示をやめて、通常の立体物の表示としてもよい。
このように変形することで、運転者は、より安全に、より的確に車両300の操作を行うことができるようになる。
また、上記実施形態の障害物センサ13は、地面と水平に超音波等を発射して障害物により反射される反射波を捉え、障害物との距離を特定するものであるが、これに限られない。例えば、垂直方向に複数の角度で超音波等を発射して、それぞれの反射波から障害物の形状や距離を特定するものであってもよい。
その場合には、危険物表示処理のステップS004において、障害物の距離と高さを、以下の原理を用いて算出する。
図9は、このような障害物センサ13を用いた場合の動作の原理を示す図である。なお、図9(a)に示すように、車両300の背面に高さ方向に複数の角度で超音波を発射する障害物センサ13Mを設け、立体物60、61、62の位置と、高さとを特定するものとする。
図9(b)に示すように、例えば障害物センサ13Mと、立体物61の頂との距離が、Ls(701)であり、超音波を発射した角度(水平面に対する角度)がθ(702)である場合について説明する。
障害物センサ13Mの高さH(706)から、障害物センサ13Mと、立体物61の頂との高さの差であるHs(705)を減算すると、立体物61の頂の高さT(703)を求めることができる。なお、Hs(705)は、Ls(701)とsin(θ)の積により求めることが可能である。また、H(706)は、予めナビゲーション装置100に設定される値であるとする。
また、障害物センサ13Mと立体物61との地表面上での距離L(704)は、Ls(701)とcos(θ)の積により求めることが可能である。
このようにして、垂直方向に複数の角度で超音波等を発射して、それぞれの反射波から障害物の形状や距離を特定する障害物センサ13Mによって障害物までの距離と、障害物の高さと、を特定することができる。
このように変形することで、複数の障害物センサ13U、13Lを一つにまとめることが可能となり、部品点数を少なくすることができる。また、一体化されたカメラ12と障害物センサ13とを用いることで、機器の配置の自由度を高めることができる。
さらには、上記障害物センサ13Mを用いることによって、車両300の後方にある窪み等の地表面に突出しない障害物を検知することも可能である。
また、上記実施形態では、車両の後方を検出する対象の範囲としたが、これに限られず、車両のルーフ等の車両の周囲にカメラ12と障害物センサ13とを配置して、車両300の全方位(前、右、左、後等、全周囲)を対象としてカメラ画像を取得して座標変換処理を行い、車両の上方からの視点の立体画像を表示するものであってもよい。
また、上記実施形態では、危険物表示処理のステップS007にて、危険度と共に投影画像を出力しているが、これに限られない。例えば、投影画像に、さらに注意喚起を行うためのアニメーション(障害物の接近をグラフィカルに表示する画像)を表示させるようにしてもよい。
以上が、変形の例である。
なお、上記の実施形態では、本発明をナビゲーション装置に適用した例について説明したが、本発明はナビゲーション装置と別体の構成でもよく、また、ナビゲーション装置に限らず、車載の機器全般に適用することができる。
1・・・演算処理部、2・・・ディスプレイ、3・・・記憶装置、4・・・音声出入力装置、5・・・入力装置、6・・・ROM装置、7・・・車速センサ、8・・・ジャイロセンサ、9・・・GPS受信装置、10・・・FM多重放送受信装置、11・・・ビーコン受信装置、12・・・カメラ、13,13U,13L・・・障害物センサ、21・・・CPU、22・・・RAM、23・・・ROM、24・・・I/F、25・・・バス、41・・・マイクロフォン、42・・・スピーカ、51・・・タッチパネル、52・・・ダイヤルスイッチ、60、61、62・・・立体物、100・・・ナビゲーション装置、101・・・主制御部、102・・・入力受付部、103・・・出力処理部、104・・・カメラ制御部、105・・・カメラ画像処理部、106・・・障害物距離高さ検知部、107・・・障害物合成部、108・・・危険度判定部、200・・・取得情報テーブル、300・・・車両

Claims (16)

  1. 車両に搭載される車両周囲表示装置であって、
    車両の周囲を撮像する撮像手段と、
    前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、
    前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定手段と、
    前記撮像手段にて撮像した画像を危険判定手段により危険と判定された障害物について特徴付けて表示する表示手段と、
    を備えたことを特徴とする車両周囲表示装置。
  2. 請求項1に記載の車両周囲表示装置であって、
    前記表示手段は、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて着色して表示する、
    ことを特徴とする車両周囲表示装置。
  3. 請求項1または2に記載の車両周囲表示装置であって、
    前記表示手段は、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて点滅させて表示する、
    ことを特徴とする車両周囲表示装置。
  4. 請求項1〜3のいずれか一項に記載の車両周囲表示装置であって、さらに、
    前記立体物高さ検知手段により検出した立体物が、前記車両と接触する可能性があるか否かを予測する接触予測手段を備え、
    前記表示手段は、前記立体物が前記接触予測手段により接触する可能性があると予測された場合に、前記危険と判定された障害物を特徴付けて表示する、
    ことを特徴とする車両周囲表示装置。
  5. 請求項4に記載の車両周囲表示装置であって、
    前記接触予測手段は、前記車両の予測される軌跡上に前記立体物が存在する場合に、前記車両と接触する可能性があると予測する、
    ことを特徴とする車両周囲表示装置。
  6. 請求項1〜5のいずれか一項に記載の車両周囲表示装置であって、
    前記表示手段は、複数の前記撮像手段により撮像した画像を座標変換して前記車両上方からの視点の画像を作成し、作成した画像に含まれる前記危険と判定された障害物を特徴付けて表示する、
    ことを特徴とする車両周囲表示装置。
  7. 請求項1〜6のいずれか一項に記載の車両周囲表示装置であって、
    前記立体物高さ検知手段は、前記車両の周囲に存在する立体物の高さと共に、方向と距離とを検知し、
    前記表示手段は、前記撮像手段により撮像した画像に含まれる立体物のうち、前記立体物高さ検知手段により取得した前記立体物の方向と距離とに対応する立体物を、前記危険と判定された障害物として特定する、
    ことを特徴とする車両周囲表示装置。
  8. 請求項1〜7のいずれか一項に記載の車両周囲表示装置であって、さらに、
    前記危険と判定された障害物の存在を音声により運転者に知らせる音声出力手段、
    を備えることを特徴とする車両周囲表示装置。
  9. 車両に搭載される車載装置による車両周囲表示方法であって、
    前記車載装置は、
    車両の周囲を撮像する撮像手段と、
    前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、を備え、
    前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定ステップと、
    前記撮像手段にて撮像した画像を危険判定ステップにおいて危険と判定された障害物について特徴付けて表示する表示ステップと、
    を実施することを特徴とする車両周囲表示方法。
  10. 請求項9に記載の車両周囲表示方法であって、
    前記表示ステップでは、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて着色して表示する、
    ことを特徴とする車両周囲表示方法。
  11. 請求項9または10に記載の車両周囲表示方法であって、
    前記表示ステップでは、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて点滅させて表示する、
    ことを特徴とする車両周囲表示方法。
  12. 請求項9〜11のいずれか一項に記載の車両周囲表示方法であって、
    前記車載装置は、さらに、
    前記立体物高さ検知手段により検出した立体物が、前記車両と接触する可能性があるか否かを予測する接触予測ステップを実施し、
    前記表示ステップでは、前記立体物が前記接触予測ステップにより接触する可能性があると予測された場合に、前記危険と判定された障害物を特徴付けて表示する、
    ことを特徴とする車両周囲表示方法。
  13. 請求項12に記載の車両周囲表示方法であって、
    前記接触予測ステップでは、前記車両の予測される軌跡上に前記立体物が存在する場合に、前記車両と接触する可能性があると予測する、
    ことを特徴とする車両周囲表示方法。
  14. 請求項9〜13のいずれか一項に記載の車両周囲表示方法であって、
    前記表示ステップでは、複数の前記撮像手段により撮像した画像を座標変換して前記車両上方からの視点の画像を作成し、作成した画像に含まれる前記危険と判定された障害物を特徴付けて表示する、
    ことを特徴とする車両周囲表示方法。
  15. 請求項9〜14のいずれか一項に記載の車両周囲表示方法であって、
    前記立体物高さ検知手段は、前記車両の周囲に存在する立体物の高さと共に、方向と距離とを検知し、
    前記表示ステップでは、前記撮像手段により撮像した画像に含まれる立体物のうち、前記立体物高さ検知手段により取得した前記立体物の方向と距離とに対応する立体物を、前記危険と判定された障害物として特定する、
    ことを特徴とする車両周囲表示方法。
  16. 請求項9〜15のいずれか一項に記載の車両周囲表示方法であって、
    前記車載装置は、さらに、
    音声出力手段を備え、
    前記表示ステップにおいて、前記音声出力手段により前記危険と判定された障害物の存在を音声により運転者に知らせる、
    ことを特徴とする車両周囲表示方法。
JP2009258919A 2009-11-12 2009-11-12 車両周囲表示装置、車両周囲表示方法 Pending JP2011109170A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009258919A JP2011109170A (ja) 2009-11-12 2009-11-12 車両周囲表示装置、車両周囲表示方法
PCT/JP2010/066325 WO2011058822A1 (ja) 2009-11-12 2010-09-21 車両周囲表示装置、車両周囲表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009258919A JP2011109170A (ja) 2009-11-12 2009-11-12 車両周囲表示装置、車両周囲表示方法

Publications (1)

Publication Number Publication Date
JP2011109170A true JP2011109170A (ja) 2011-06-02

Family

ID=43991482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009258919A Pending JP2011109170A (ja) 2009-11-12 2009-11-12 車両周囲表示装置、車両周囲表示方法

Country Status (2)

Country Link
JP (1) JP2011109170A (ja)
WO (1) WO2011058822A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013098995A1 (ja) * 2011-12-28 2013-07-04 トヨタ自動車株式会社 障害物判定装置
WO2014083787A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
CN104029634A (zh) * 2013-03-07 2014-09-10 广明光电股份有限公司 辅助停车的立体显示方法
US9082020B2 (en) 2012-10-11 2015-07-14 Hyundai Motor Company Apparatus and method for calculating and displaying the height of an object detected in an image on a display
JP2016103264A (ja) * 2014-11-27 2016-06-02 エレクトロビット オートモーティブ ゲーエムベーハー 自動車の運転手用の装着可能な器械
KR20170100897A (ko) * 2016-02-26 2017-09-05 한화지상방산 주식회사 주변 영상 모니터링 장치
CN113316529A (zh) * 2019-01-21 2021-08-27 三菱电机株式会社 信息提示装置和信息提示控制方法、以及程序和记录介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013021326A1 (de) * 2013-12-17 2015-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren einer auf einem Boden aufgebrachten Markierung, Fahrerassistenzeinrichtung und Kraftfahrzeug
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Soken 表示制御装置
US10743156B2 (en) * 2016-11-17 2020-08-11 Mitsubishi Electric Corporation In-vehicle device, mobile terminal device, recognition support system, recognition support method, and recognition support program
EP3681151A4 (en) * 2017-09-07 2020-07-15 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE DISPLAY SYSTEM
FR3103306A1 (fr) * 2019-11-15 2021-05-21 Psa Automobiles Sa Vehicule comportant un dispositif d’affichage d’obstacles present sur la route
DE102022205393A1 (de) * 2022-05-30 2023-11-30 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Informationssystems, Computerprogrammprodukt sowie Fahrzeug

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173048A (ja) * 2002-11-21 2004-06-17 Auto Network Gijutsu Kenkyusho:Kk 車載カメラシステム
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
JP4315117B2 (ja) * 2004-04-02 2009-08-19 株式会社デンソー 車両周辺監視システム
JP4656408B2 (ja) * 2005-08-05 2011-03-23 株式会社デンソー 車両用周囲監視装置
JP2008263325A (ja) * 2007-04-10 2008-10-30 Alpine Electronics Inc 車外撮影カメラ画像表示装置
JP4557041B2 (ja) * 2008-04-18 2010-10-06 株式会社デンソー 車両用画像処理装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013098995A1 (ja) * 2011-12-28 2015-04-30 トヨタ自動車株式会社 障害物判定装置
WO2013098995A1 (ja) * 2011-12-28 2013-07-04 トヨタ自動車株式会社 障害物判定装置
US9082020B2 (en) 2012-10-11 2015-07-14 Hyundai Motor Company Apparatus and method for calculating and displaying the height of an object detected in an image on a display
JPWO2014083787A1 (ja) * 2012-11-27 2017-01-05 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
WO2014083787A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
JP5846316B2 (ja) * 2012-11-27 2016-01-20 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
US9409574B2 (en) 2012-11-27 2016-08-09 Nissan Motor Co., Ltd. Vehicle acceleration suppression device and vehicle acceleration suppression method
CN104029634A (zh) * 2013-03-07 2014-09-10 广明光电股份有限公司 辅助停车的立体显示方法
JP2016103264A (ja) * 2014-11-27 2016-06-02 エレクトロビット オートモーティブ ゲーエムベーハー 自動車の運転手用の装着可能な器械
US10086758B2 (en) 2014-11-27 2018-10-02 Elektrobit Automotive Gmbh Wearable apparatus for use by a driver of a motor vehicle
KR20170100897A (ko) * 2016-02-26 2017-09-05 한화지상방산 주식회사 주변 영상 모니터링 장치
KR102153581B1 (ko) 2016-02-26 2020-09-08 한화디펜스 주식회사 주변 영상 모니터링 장치
CN113316529A (zh) * 2019-01-21 2021-08-27 三菱电机株式会社 信息提示装置和信息提示控制方法、以及程序和记录介质

Also Published As

Publication number Publication date
WO2011058822A1 (ja) 2011-05-19

Similar Documents

Publication Publication Date Title
WO2011058822A1 (ja) 車両周囲表示装置、車両周囲表示方法
JP4981566B2 (ja) 運転支援装置および運転支援方法
JP5634046B2 (ja) センサコントローラ、ナビゲーション装置、センサ制御方法
JP6312831B2 (ja) 走行支援システム及び走行支援方法
CA3069114C (en) Parking assistance method and parking assistance device
JP4702106B2 (ja) 死角支援情報報知装置及びプログラム
JP2008021181A (ja) 運転支援情報報知装置
JP4973331B2 (ja) 情報提供装置
JP2009230390A (ja) 認識システム
JP2009015498A (ja) 緊急車両接近報知システム、一般車用装置および緊急車用装置
JP5327025B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP2018133072A (ja) 情報処理装置およびプログラム
JP6520687B2 (ja) 運転支援装置
JP2008174076A (ja) 車両周辺監視装置、その表示方法
JP2007028363A (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
JP4483764B2 (ja) 運転支援システムおよびプログラム
JP2011221573A (ja) 運転支援装置および運転支援システム
JP2010003086A (ja) ドライブレコーダー
JPWO2018180756A1 (ja) 運転支援システム
JP6363393B2 (ja) 車両周辺監視装置
JP2012220259A (ja) 車載装置とその車両方位修正方法
JP2016095789A (ja) 表示装置
JP2008305283A (ja) 運転支援装置および運転支援方法