JP2007318460A - 車両上方視点画像表示装置 - Google Patents

車両上方視点画像表示装置 Download PDF

Info

Publication number
JP2007318460A
JP2007318460A JP2006146024A JP2006146024A JP2007318460A JP 2007318460 A JP2007318460 A JP 2007318460A JP 2006146024 A JP2006146024 A JP 2006146024A JP 2006146024 A JP2006146024 A JP 2006146024A JP 2007318460 A JP2007318460 A JP 2007318460A
Authority
JP
Japan
Prior art keywords
inclination
road surface
vehicle
image
upper viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006146024A
Other languages
English (en)
Other versions
JP4796676B2 (ja
Inventor
Kosuke Imamura
浩輔 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2006146024A priority Critical patent/JP4796676B2/ja
Publication of JP2007318460A publication Critical patent/JP2007318460A/ja
Application granted granted Critical
Publication of JP4796676B2 publication Critical patent/JP4796676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車両外部を撮影する複数のカメラの画像を合成して、車両の上方に設けた1つのカメラが撮影している画像のように表示するとき、路面に傾斜の変化が存在する際でも、合成画像が歪んで表示されることが無い「車両上方視点画像表示装置」とする。
【解決手段】車外を撮影する複数の各カメラの撮影画像に対して、傾斜対応座標変換部11において、路面傾斜変化検出部16で検出した路面の傾斜変化地点、及び傾斜変化量に応じて座標変換を行い、処理された画像を用いて車両上方視点画像を合成処理する。路面傾斜変化検出手法としては種々の手法を採用することができ、ナビゲーション装置のジャイロセンサを利用する手法17、超音波を利用する手法18、路面に格子画像を投影して撮影する手法19、ナビゲーション装置の地図データにおける路面の傾斜データを利用する手法20等を用いることができる。
【選択図】図1

Description

本発明は、車両に搭載した複数のカメラにより車外周辺を撮影し、その撮影画像を合成処理することにより、車両の上方に設置した1台のカメラで車両の周囲を撮影しているような画像を表示するための、車両上方視点画像表示装置に関する。
車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合も多い。
その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示し、車庫入れや駐車を容易にする後方撮影用カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影用カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。
しかしながら、このような車外撮影カメラとして超広角カメラを用いたとしても、例えば車両を後退させながら車庫入れ等を行うとき、車両後側方周囲に障害物があるときには、車両の後退とともに後方撮影用カメラの視界外になり、その障害物の状態を知ることができなくなる。その対策として、車両の両側にも超広角カメラを設け、前記のような後方撮影用カメラの視界外部分を側方撮影カメラによって見ることができるようにすることも考えられる。
しかしながら、上記のような超広角カメラの画像では、撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突や接触事故を生じることがある。特に後方撮影用カメラでの画像から側方撮影用カメラの画像に切り換えたとしても、そのときに画面に表示される障害物等の物体の画像は大きく異なり、実際の物体の状態を把握することは容易ではない。
そのため、車両に複数の車外撮影用カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示することが提案されている。そのような複数のカメラを用いる際には例えば図5に示すように、車両41の右側を撮影する車両右側撮影用カメラ42、車両41の左側を撮影する車両左側撮影用カメラ43、車両41の後方を撮影する車両後方撮影用カメラ44、車両41の前側を撮影する車両前方撮影用カメラ45の合計4個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図5(c)に略示するように、あたかも車両の真上に設けた1つのカメラにより車両41の全周囲を撮影しているような画像をモニタに表示することが提案されている。この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて2個、3個と適宜選択され、また設置位置も種々の位置に選択して設置される。
なお車外を撮影するカメラの撮影画像を、3次元空間の予め決められた空間モデルにマッピングすることにより、任意の仮想視点から見た画像を作成する技術は特許文献1に開示され、車両後向きにカメラを取り付け、後方からの接近車両の走行車線を検出するとともに、道路勾配を検出して正確な道路形状の推定を行うようにした技術は特許文献2に開示されている。
再表00/007373号公報 特開2003−204547号公報
上記のように、車両の周囲を撮影するカメラを複数用い、その撮影画像を合成することにより、車両の上方に設置した1つのカメラで車両を中心として周囲を撮影しているような画像を表示するトップビューシステムを採用すると、車両周囲の物体の撮影画像が違和感なく表示され、距離感がつかみやすく見やすい車両周囲表示装置とすることができるものであるが、この手法で車両周囲を撮影して表示する際に例えば図6(a)に示すように車両の周囲に勾配の変化、即ち路面の傾斜変化がないときには上記手法によって正確な画像表示を行うことができる。
しかしながら例えば図6(b)及び(c)に示すように、路面Sにおいて車両の進行方向に対して直角で且つ車両の略中間部分に位置するP−Q線部分で傾斜が変化しているときには、仮想カメラ位置Rとして表示する合成画像は、同図(b)における「本来見たいエリア」として示している範囲Tである。即ち本来見たいエリアTは、傾斜が変化するP−Q線部分から路面に沿ってそのまま傾斜した範囲となる。それに対して、実際に各カメラで撮影した画像を合成すると、仮想カメラ位置Rから四方への撮影角度範囲は一定とされるため、実際に写るエリアUは傾斜路面の勾配変化分αに応じて拡大した、(b)(C)に図示するような範囲Uが撮影された画像が合成されて表示されることとなる。なお、図6(b)(c)に示す例においては、路面SがP−Q部分で傾斜が変化しているほか、車両が左右にβだけ傾斜した例を示しており、それにより実際に写るエリアが更にゆがんだ範囲となっている。
上記のように路面の傾斜が変化しているときには、例えば図7に示すような合成画像が得られる。同図は実写に基づく説明図であり、車両後方撮影用カメラ34による画像を車両31の後方部分Vに表示し、車両右側撮影用カメラ32による画像を後方部分Vに連続するよう右側部分Wを表示し、車両左側撮影用カメラ33による画像を同様に、後方部分Vに連続するように左側部分Xを表示し、車両前方撮影用カメラ36による画像を車両前方における右側部分Wと左側部分Xの間を埋めるように前方部分Yを連続して表示することにより車両上方視点画像を表示する例を示している。なお、これらの画像合成は種々の範囲の組み合わせによって表示可能である。
この画像表示例において、前記のように車両後方部分の路面が傾斜していることによって車両から遠ざかる程広がった画像が得られる結果、これを合成した後方部分Vの画像は車両から遠ざかる程狭まった画像となり、画像部分Fに示されるように路面の白線が内側に曲がった画像として表示される。同様に画像部分Gにおいても路面の白線が内側に曲がった画像として表示される。更に同図の例においては、左右に傾斜していることにより画像部分Hにおいても路面の白線が画面の内側に曲がった画像として表示されている。
このように、車両外部を撮影する複数のカメラの画像を合成して、車両の上方に設けた1つのカメラが撮影している画像のように表示するときで、なおかつ路面に傾斜の変化が存在するときには、合成画像が歪んで表示されることとなる。したがって本発明は上記のような課題を解決することができる車両上方視点画像表示装置を提供することを主たる目的とする。
本発明に係る車両上方視点画像合成装置は、上記課題を解決するため、車外を撮影する複数のカメラと、路面の傾斜の変化を検出する路面傾斜変化検出手段と、前記複数のカメラの撮影画像のうち、前記路面傾斜変化検出手段で検出した路面傾斜変化が存在する撮影画像を、路面傾斜変化量に応じて座標変換を行う傾斜対応座標変換手段と、前記傾斜対応座標変換手段で変換した画像、及び他のカメラの画像を車両上方視点の画像に合成する車両上方視点画像合成処理手段とを備えたことを特徴とする。
また、本発明に係る他の車両上方視点画像合成装置は、前記車両上方視点画像合成装置において、前記路面傾斜変化検出手段が、地図データにおける高度データを利用することを特徴とする。
また、本発明に係る他の車両上方視点画像合成装置は、前記車両上方視点画像合成装置において、前記路面傾斜変化検出手段は、ジャイロセンサを用いることを特徴とする。
また、本発明に係る他の車両上方視点画像合成装置は、前記車両上方視点画像合成装置において、前記路面傾斜変化検出手段は、路面に発射した超音波を受信する超音波利用傾斜検出手段であることを特徴とする。
また、本発明に係る他の車両上方視点画像合成装置は、前記車両上方視点画像合成装置において、前記超音波利用傾斜検出手段は、路面間の距離或いは路面の傾斜を検出することを特徴とする。
また、本発明に係る他の車両上方視点画像合成装置は、前記車両上方視点画像合成装置において、前記超音波利用傾斜検出手段は、路面を線状に或いは面上を走査する傾斜検出手段であることを特徴とする。
また、本発明に係る他の車両上方視点画像合成装置は、前記車両上方視点画像合成装置において、前記路面傾斜変化検出手段は、路面に投影した格子画像を撮影して傾斜を検出することを特徴する。
本発明は上記のように構成したので、車両外部を撮影する複数のカメラの画像を合成して、車両の上方に設けた1つのカメラが撮影している画像のように表示するとき、路面に傾斜の変化が存在する場合でも合成画像が歪んで表示されることなく、車両の上方に視点が存在するような合成画像を見やすく表示することができるようになる。
本発明は、車両外部を撮影する複数のカメラの画像を合成して、車両の上方に設けた1つのカメラが撮影している画像のように表示するとき、路面に傾斜の変化が存在する際に合成画像が歪んで表示されることが無いようするという課題を、車外を撮影する複数のカメラと、路面の傾斜の変化を検出する路面傾斜変化検出手段と、前記複数のカメラの撮影画像のうち、前記路面傾斜変化検出手段で検出した路面傾斜変化が存在する撮影画像を、路面傾斜変化量に応じて座標変換を行う傾斜対応座標変換手段と、前記傾斜対応座標変換手段で変換した画像、及び他のカメラの画像を車両上方視点の画像に合成する車両上方視点画像合成処理手段とを備えることにより実現した。
本発明の実施例を図面に沿って説明する。図1は本発明による車両上方視点画像表示装置における各種態様を実施可能とした機能ブロック図であり、前記のような路面撮影カメラ1を備えており、同図においては前方用路面撮影カメラ2、左側方用路面撮影カメラ3、右側方用路面撮影カメラ4、後方用路面撮影カメラ5を備えた例を示している。但し本発明においては、これらのうちいずれか任意の複数の路面撮影カメラを備えればよい。なお、同図において各機能を行う機能部は、各機能を行う手段ということもできる。
路面撮影カメラ1の各カメラで撮影した画像データは、撮影画像入力部6においてそれぞれの対応する前方用撮影画像入力部7、左側方用撮影画像入力部8、右側方用撮影画像入力部9、後方用撮影画像入力部10にそれぞれ対応して入力する。ここで入力した画像について、傾斜対応座標変換部11においてそれぞれ対応する前方用傾斜対応座標変換部12、左側方用傾斜対応座標変換部13、右側方用傾斜対応座標変換部14、後方用傾斜対応座標変換部15において、後述するようにして選択された座標変換部で座標変換処理を行う。
図1に示す例においては路面傾斜変化検出部16を備え、各種手法を適宜選択して路面の傾斜の変化を検出する。同図には種々の態様で実施することを可能にするため、各種の路面傾斜の検出、或いは路面傾斜変化の検出を行う例を示している。ジャイロセンサ利用傾斜検出部17においては、車両にナビゲーション装置26を備え、自律航法において車両の走行方向を検出するジャイロセンサ29を用いているときに、そのデータを取り込むことにより車両の傾斜変化を検出する。
即ち、車両の自律的な位置検出手法として車両の加速度の変化を3次元的に測定することができるジャイロセンサの測定データと、車速パルスとを継続的に検出することにより、衛星データを用いることができないときでも車両の移動状態を測定することができるが、その際のジャイロセンサの高さ方向の変化検出データにより、車両の傾斜状態が変化したこと、即ち路面の傾斜変化を検出し、その変化を継続して検出することにより車両の傾斜変化状態を測定することができる。
超音波センサを用いて傾斜を検出する超音波利用傾斜検出部18においては、超音波センサを用いて種々の手法で路面の傾斜を検出することができるものであるが、路面間距離・路面傾斜検出部21においては、例えば図3(a)に示すように、車両43の後方N、更に必要に応じて前方Mに設けた超音波を路面に向けて送信する超音波送信器及びその反射波を受信する超音波受信器からなる超音波センサ38を用いる。このときの反射波の受信に際して、受信時間の相違により路面間の距離を測定することができ、また、路面の傾斜によって変化する受信器側への反射波の強度を測定することにより路面の傾斜を検出することができる。したがってこの超音波式の路面間距離・路面傾斜検出部21では、同様の装置を用いて路面間距離測定、或いは路面傾斜検出、更には両方の機能を行わせることができる。
この路面間距離・路面傾斜検出部21において、単に路面間距離を測定するときには、車両と路面間の距離を車両の移動中に継続的に測定し、その測定値をデータ更新記憶部32に所定測定回数分更新しつつ記憶する。それにより路面傾斜変化検出部16では路面間距離・路面傾斜検出部21で検出した今回の路面間距離と、データ更新記憶部32に記憶されている前回及び必要に応じて更にその前に測定した路面間距離と比較し、路面間距離が変化したか否かによって路面の傾斜の変化を検出する。
路面間距離・路面傾斜検出部21において、前記のようにして超音波反射波受信強度と時間差により路面の傾斜を検出するときには、検出データをデータ更新記憶部32に更新しつつ記憶する。それにより路面傾斜変化検出部16では、今回の傾斜データと先の傾斜データとを比較し、路面の傾斜が変化した状態を検出する。路面間距離・路面傾斜検出部21では同様の装置により距離、及び傾斜を検出することができるので、両方を組み合わせてデータを補間することにより、より正確な計測が可能となる。
路面線状走査傾斜検出部22においては、前記と同様の超音波センサを例えば図3(b)に示すように車両43の後方N、更に必要に応じて前方Mに超音波センサ39を設けるものであるが、この超音波センサ39においては路面に対して車両の走行方向において手前側から遠方に向けて、また逆方向に線状にスキャンする。それにより路面との距離が本来平面であるときの値と比較して異なっているときには、その部分が傾斜していることを検出することができる。
したがって、例えば図3(c)に示すように、車両の後方Nに設けた超音波センサ39から所定のスキャン距離だけスキャンするとき、図3(b)の地点Pに対応する同図(c)の地点Pから本来の平面距離より遠くなっていることを検出し、この地点から下方に傾斜していることを検出することができる。したがって、この手法によると、1回のスキャンでどの地点からどの程度傾斜しているかを検出することができるようになる。この場合においても反射してくる超音波の強度を検出することにより、どの程度傾斜しているかをより正確に検出することもできる。
また、路上表面走査傾斜検出部23においては、図3(b)と同様の位置に超音波センサを設け、例えば図3(d)に示すように前記と同様の超音波センサを配置し、超音波を平面上にスキャンする。それにより図示するような扇型の平面をスキャンすることができ、図中Pの地点で進行方向直角に傾斜が変化する部分が存在することを検出することができる。このときにおいても超音波の受信強度により傾斜の程度の検出が可能である。なお、前記のような超音波のスキャンを一時的に車両側方に向けて送信し、従来の車両側方監視用超音波センサと同様の障害物監視も可能である。
図1における路面傾斜変化検出部16における投影格子撮影画像処理傾斜検出部19においては、本出願人が先に提案している例えば図4に示すような手法を用いる。即ち、図4(c)に示すように車両の後方N、及び前方M部分、或いは車両の下面部分に、同図(a)に示すような格子枠を路面に投影する投影器40、及び投影器40と一体化したカメラ41からなる格子枠投影撮影器42を設ける。これにより通常の傾斜変化のない路面では同図(a)のように所定の格子枠画像が路面に投影され、これをそのまま撮影するのに対して、同図(c)のように路面のP部分で傾斜が下方に変化しているとき、この部分に投影される格子枠画像は、傾斜が変化する路面のP部分で折れ曲がって次第に拡大して投影され、これが撮影される。この折れ曲がり部分の検出及びその程度の検出によって、路面の傾斜の変化の状態を正確に検出できる。
図1に示す路面傾斜変化検出部16に示した地図データ利用路面傾斜検出部20においては、この車両にナビゲーション装置26を搭載しているとき、DVDやHDD等の地図データ蓄積部28に、詳細な等高線データや道路の勾配変化も記録した地図データが存在する場合には、GPSを利用した衛星航法により、更にはジャイロセンサ29及び車速パルスセンサ30を用いた自律航法によって現在位置検出部27で現在位置を正確に検出し、現在位置に対応した路面の傾斜を地図データ蓄積部にアクセスすることにより、地図傾斜データ取込部25がそのデータを取り込む。現在位置傾斜検出部24ではこのようにして取り込んだ地図による傾斜データに基づき、車両の傾斜状態を検出することができる。なお、この手法を用いるときには、できる限り詳細な地図データの蓄積を行うこととなる。
傾斜変化量演算部31では、路面傾斜変化検出部16において各種手法の内任意の手法により検出した路面の傾斜変化について、その傾斜の変化量を演算する。この傾斜変化量の演算に際しては、路面傾斜変化検出手法によりそれぞれ特有の傾斜変化量の演算を行うことができる。データ更新記憶部32においては、前記のように例えば路面間距離・路面傾斜検出部21で路面間の距離を車両の走行と共に継続して計測しているとき、前回の計測値と比較するため、計測データをここに更新して記憶しておくほか、各傾斜検出部で検出した傾斜の状態を更新しつつ記憶し、そのデータにより傾斜の変化状態の詳細なデータを得る際にも用いられる。また、傾斜変化量演算部31における演算に際して、統計手法により演算を行う際にデータ蓄積部としても用いることができる。
図1の例においては傾斜変化位置検出部34を備え、傾斜の変化を検出したときにその傾斜がどの部分からどのように傾斜変化しているかを検出する。このデータを座標変換カメラ撮影画像選択部35において、撮影画像入力部6で入力した各カメラの撮影画像について、傾斜対応座標変換部11ではどのカメラの撮影画像に対して傾斜対応の座標変換を行うかの選択を行う。それにより、例えば後方用カメラの撮影画像の座標変換を行う後方用傾斜対応座標変換部15を選択する等、傾斜変化位置に応じた座標変換カメラ撮影画像の選択を行うことができるようになる。
このようにして傾斜対応座標変換部11では、座標変換カメラ撮影画像選択部35で選択した各傾斜対応座標変換部12〜15のいずれか、或いは複数を選択し、傾斜変化量演算部31で演算した傾斜変化量に応じて、傾斜に対応した座標変換を行う。その際には傾斜変換用データ記憶部33に記憶されている、傾斜角度を適宜の度合いで分割して作成している変換用テーブルを、傾斜変化量演算部31で演算した傾斜量によって選択し、そのテーブルに画像データを当てはめることにより少ない演算で高速に傾斜に対応した座標変換処理を行うことができる。なお、このような変換用テーブルを用いることなく、現在行われている各種演算手法により傾斜に対応した座標変換処理を行っても良い。
車両上方視点画像合成処理部36においては、前記のようにして傾斜対応座標変換部11で、必要な撮影画像に対して座標変換を行い、また傾斜が変化していない部分の画像についてはそのままの画像データを用い、従来と同様の手法により車両の上方に視点が存在する画像を合成処理する。その結果得られた合成画像は合成画像出力部37からもモニタ等に出力する。
上記のような機能ブロックからなる車両上方視点画像表示装置においては、例えば図2に示す作動フローにしたがって作動させることができる。図2に示す例においては、図1の路面傾斜変化検出部16における種々の検出手法に応じて作動させることができるようにした例を示しており、この路面傾斜対応車両上方視点画像合成処理に際しては、最初に使用する傾斜センサは走行変化検出型か否かを判別する(ステップS1)。即ち、図1に示すような種々の路面傾斜変化検出手法が存在するとき、実際に用いる手法が、例えばジャイロセンサ利用傾斜検出部17による検出の場合や、路面間距離・路面傾斜検出部21で検出される場合のような、現在の値と車両走行によりその後測定値とが変化していることを検出することにより路面の傾斜の変化を検出するような検出手段の場合には、使用傾斜センサが走行変化検出型であるとして、現在の路面間距離或いは路面傾斜の測定を行う(ステップS2)。
その後測定データの更新記憶を行い(ステップS3)、次いで前回、或いはそれ以前を含めた以前の測定データと今回のデータとを比較し、車両走行による測定データ変化による路面の傾斜変化を検出する(ステップS4)。一方、ステップS1において使用傾斜センサは走行変化検出型ではないと判別したとき、即ち、例えば路面線状走査傾斜検出部22や路上表面走査傾斜検出部23、更には投影格子撮影画像処理傾斜検出部19、地図データ利用路面傾斜検出部20における検出のような場合には、測定データ変化部分により路面傾斜変化を検出する(ステップS5)。これらの路面傾斜変化検出手法は、車両が走行しないでも現在のデータによって車両を中心にしてどの部分で傾斜が変化しているかを検出することができるため、前記ステップS2〜S4の作動は必要としない。但し、より正確なデータを得るためには測定データの更新記録を行って、前回の値と比較する処理を行っても良い。
前記ステップS4及びステップS5の処理を行った後は、路面の傾斜は変化したか否かを判別する(ステップS6)。この判別において、前記ステップS4及びS5の検出作動によって、実際に傾斜の変化が検出されたと判別したときには、傾斜変化位置の検出を行う(ステップS7)。この作動は図1における傾斜変化位置検出部34において、前記のようにして行われる。
次いで、傾斜変化量の演算を行う(ステップS8)。この作動は図1の傾斜変化量演算部31において行う。その後座標変換を行うカメラ撮影画像を選択する(ステップS9)。この作動は図1の座標変換カメラ撮影画像選択部35において、傾斜変化位置検出部34で検出した傾斜変化位置が含まれるカメラ撮影画像等を選択することにより行われる。次いで、傾斜角度に応じた座標変換テーブルを選択し(ステップS10)、その選択した座標変換テーブルを用いて座標変換処理を行う(ステップS11)。これらの作動は、図1における傾斜対応座標変換部11において、座標変換カメラ撮影画像選択部35で選択した撮影画像に対して、傾斜変換量演算部31で演算した傾斜量に応じた変換用テーブルを傾斜変換用データ記憶部33から選択し、これを用いることによって演算が行われる。
次いで、前記ステップS6において路面の傾斜が変化していないと判別したときも含めて、車両上方視点画像の合成処理を行う(ステップS12)。この作動は図1における車両上方視点画像合成処理部36において、傾斜対応座標変換部11で必要な画像について座標変換を行ったデータを用い、また他の画像データを用いて、従来と同様の手法により画像合成処理を行うことによって実行される。このようにして得られた合成画像はモニタ等に出力する(ステップS13)。
本発明の各種態様を実施する機能ブロック図である。 同各種態様を実施する作動フロー図である。 傾斜センサとして超音波センサを用いた各種実施例の説明図である。 傾斜センサとして格子枠を路面に投射しこれを撮影する実施例の説明図である。 従来の車両上方視点画像合成の例を示す図である。 従来の車両上方視点画像合成において路面の傾斜が変化しない場合と、変化した場合の相違を説明する図である。 従来の車両上方視点画像合成において路面の傾斜が変化した場合の合成画像の問題点を説明する図である。
符号の説明
1 路面撮影カメラ
6 撮影画像入力部
11 傾斜対応座標変換部
16 路面傾斜変化検出部
17 ジャイロセンサ利用傾斜検出部
18 超音波利用傾斜検出部
19 投影格子撮影画像処理傾斜検出部
20 地図データ利用路面傾斜検出部
21 路面間距離・路面傾斜検出部
22 路面線状走査傾斜検出部
23 路上表面走査傾斜検出部
24 現在位置傾斜検出部
25 地図傾斜データ取込部
26 ナビゲーション装置
27 現在位置検出部
28 地図データ蓄積部
29 ジャイロセンサ
30 車速パルスセンサ
31 傾斜変化量演算部
32 データ更新記憶部
33 傾斜変換用データ記憶部
34 傾斜変化位置検出部
35 座標変換カメラ撮影画像選択部
36 車両上方視点画像合成処理部
37 合成画像出力部

Claims (7)

  1. 車外を撮影する複数のカメラと、
    路面の傾斜の変化を検出する路面傾斜変化検出手段と、
    前記複数のカメラの撮影画像のうち、前記路面傾斜変化検出手段で検出した路面傾斜変化が存在する撮影画像を、路面傾斜変化量に応じて座標変換を行う傾斜対応座標変換手段と、
    前記傾斜対応座標変換手段で変換した画像、及び他のカメラの画像を車両上方視点の画像に合成する車両上方視点画像合成処理手段とを備えたことを特徴とする車両上方視点画像表示装置。
  2. 前記路面傾斜変化検出手段は、地図データにおける高度データを利用することを特徴とする請求項1記載の車両上方視点画像合成装置。
  3. 前記路面傾斜変化検出手段は、ジャイロセンサを用いることを特徴とする請求項1記載の車両上方視点画像合成装置。
  4. 前記路面傾斜変化検出手段は、路面に発射した超音波を受信する超音波利用傾斜検出手段であることを特徴とする請求項1記載の車両上方視点画像合成装置。
  5. 前記超音波利用傾斜検出手段は、路面間の距離或いは路面の傾斜を検出することを特徴とする請求項4記載の車両上方視点画像合成装置。
  6. 前記超音波利用傾斜検出手段は、路面を線状に或いは面上を走査する傾斜検出手段であることを特徴とする請求項4記載の車両上方視点画像合成装置。
  7. 前記路面傾斜変化検出手段は、路面に投影した格子画像を撮影して傾斜を検出することを特徴する請求項1記載の車両上方視点画像表示装置。
JP2006146024A 2006-05-26 2006-05-26 車両上方視点画像表示装置 Expired - Fee Related JP4796676B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006146024A JP4796676B2 (ja) 2006-05-26 2006-05-26 車両上方視点画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006146024A JP4796676B2 (ja) 2006-05-26 2006-05-26 車両上方視点画像表示装置

Publications (2)

Publication Number Publication Date
JP2007318460A true JP2007318460A (ja) 2007-12-06
JP4796676B2 JP4796676B2 (ja) 2011-10-19

Family

ID=38851922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006146024A Expired - Fee Related JP4796676B2 (ja) 2006-05-26 2006-05-26 車両上方視点画像表示装置

Country Status (1)

Country Link
JP (1) JP4796676B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245821A (ja) * 2009-04-06 2010-10-28 Denso Corp 車両用画像表示装置
GB2471276A (en) * 2009-06-22 2010-12-29 Bae Systems Plc Terrain sensing apparatus for an autonomous vehicle
JP2012112108A (ja) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2013001366A (ja) * 2011-06-22 2013-01-07 Nissan Motor Co Ltd 駐車支援装置および駐車支援方法
JP2013025528A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 車両用画像生成装置及び車両用画像生成方法
WO2014020744A1 (ja) * 2012-08-02 2014-02-06 トヨタ自動車株式会社 路面状態取得装置およびサスペンションシステム
JP2014137321A (ja) * 2013-01-18 2014-07-28 Nec Corp 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム
JP2015023484A (ja) * 2013-07-22 2015-02-02 日産自動車株式会社 車両用表示装置
JP2015096411A (ja) * 2013-10-11 2015-05-21 本田技研工業株式会社 駐車支援システム
EP3293970A1 (en) * 2016-09-08 2018-03-14 Aisin Seiki Kabushiki Kaisha Image processing system for vehicle
JP2019219751A (ja) * 2018-06-15 2019-12-26 株式会社今仙電機製作所 搬送車及びこの搬送車を制御する制御方法及び制御プログラム
US10547815B2 (en) 2017-03-02 2020-01-28 JVC Kenwood Corporation Bird's-eye view video generation device, bird's-eye view video generation method and non-transitory storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067384A (ja) * 1998-08-26 2000-03-03 Nissan Motor Co Ltd ナビゲーション用地図表示装置
JP2001187552A (ja) * 1999-10-19 2001-07-10 Toyota Autom Loom Works Ltd 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2001245131A (ja) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd 画像補正方法および画像補正装置
JP2001331832A (ja) * 2000-05-19 2001-11-30 Horiba Ltd ディジタル式運行記録システム
JP2002042125A (ja) * 2000-07-26 2002-02-08 Minolta Co Ltd 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体
JP2002293196A (ja) * 2001-03-29 2002-10-09 Matsushita Electric Ind Co Ltd 車載カメラの画像表示方法及びその装置
JP2004064441A (ja) * 2002-07-29 2004-02-26 Sumitomo Electric Ind Ltd 車載画像処理装置及び周囲モニタシステム
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067384A (ja) * 1998-08-26 2000-03-03 Nissan Motor Co Ltd ナビゲーション用地図表示装置
JP2001187552A (ja) * 1999-10-19 2001-07-10 Toyota Autom Loom Works Ltd 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2001245131A (ja) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd 画像補正方法および画像補正装置
JP2001331832A (ja) * 2000-05-19 2001-11-30 Horiba Ltd ディジタル式運行記録システム
JP2002042125A (ja) * 2000-07-26 2002-02-08 Minolta Co Ltd 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体
JP2002293196A (ja) * 2001-03-29 2002-10-09 Matsushita Electric Ind Co Ltd 車載カメラの画像表示方法及びその装置
JP2004064441A (ja) * 2002-07-29 2004-02-26 Sumitomo Electric Ind Ltd 車載画像処理装置及び周囲モニタシステム
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245821A (ja) * 2009-04-06 2010-10-28 Denso Corp 車両用画像表示装置
GB2471276A (en) * 2009-06-22 2010-12-29 Bae Systems Plc Terrain sensing apparatus for an autonomous vehicle
JP2012112108A (ja) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2013001366A (ja) * 2011-06-22 2013-01-07 Nissan Motor Co Ltd 駐車支援装置および駐車支援方法
JP2013025528A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 車両用画像生成装置及び車両用画像生成方法
JPWO2014020744A1 (ja) * 2012-08-02 2016-07-11 トヨタ自動車株式会社 路面状態取得装置およびサスペンションシステム
WO2014020744A1 (ja) * 2012-08-02 2014-02-06 トヨタ自動車株式会社 路面状態取得装置およびサスペンションシステム
US9446652B2 (en) 2012-08-02 2016-09-20 Toyota Jidosha Kabushiki Kaisha Road surface state obtaining device and suspension system
JP2014137321A (ja) * 2013-01-18 2014-07-28 Nec Corp 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム
JP2015023484A (ja) * 2013-07-22 2015-02-02 日産自動車株式会社 車両用表示装置
JP2015096411A (ja) * 2013-10-11 2015-05-21 本田技研工業株式会社 駐車支援システム
EP3293970A1 (en) * 2016-09-08 2018-03-14 Aisin Seiki Kabushiki Kaisha Image processing system for vehicle
US10547815B2 (en) 2017-03-02 2020-01-28 JVC Kenwood Corporation Bird's-eye view video generation device, bird's-eye view video generation method and non-transitory storage medium
JP2019219751A (ja) * 2018-06-15 2019-12-26 株式会社今仙電機製作所 搬送車及びこの搬送車を制御する制御方法及び制御プログラム
JP7165515B2 (ja) 2018-06-15 2022-11-04 株式会社今仙電機製作所 搬送車及びこの搬送車を制御する制御方法及び制御プログラム

Also Published As

Publication number Publication date
JP4796676B2 (ja) 2011-10-19

Similar Documents

Publication Publication Date Title
JP4796676B2 (ja) 車両上方視点画像表示装置
JP5922866B2 (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
US8035575B2 (en) Driving support method and driving support apparatus
EP2163428B1 (en) Intelligent driving assistant systems
US9151626B1 (en) Vehicle position estimation system
US8094190B2 (en) Driving support method and apparatus
US8717196B2 (en) Display apparatus for vehicle
EP2429877B1 (en) Camera system for use in vehicle parking
US20070147664A1 (en) Driving assist method and driving assist apparatus
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
NL2004996C2 (nl) Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto.
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
CN104859538A (zh) 车辆图像显示系统中基于视觉的物体感测和突出显示
US11257369B2 (en) Off road route selection and presentation in a drive assistance system equipped vehicle
JP2004056763A (ja) 監視装置、監視方法および監視用プログラム
JP2010152873A (ja) 接近物体検知システム
JP5959264B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
CN104204847A (zh) 用于可视化车辆的周围环境的方法和装置
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP4756316B2 (ja) 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP3960153B2 (ja) 車両周辺監視装置
JP6999239B2 (ja) 画像処理装置および画像処理方法
JP5580062B2 (ja) 障害物検知警報装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110721

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110730

R150 Certificate of patent or registration of utility model

Ref document number: 4796676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees