JP2007096496A - 車両周囲表示システム - Google Patents

Abstract

【課題】車両の下方の路面状況を明示すると共に、その路面状況に対応する車両のタイヤ位置を運転者が容易に判断することができる車両周囲表示システムを提供する。
【解決手段】本発明に係る画像周囲表示装置２０は、車両の進行方向を撮像する撮像手段２１と、撮像手段２１で撮像された画像を俯瞰画像へ変換する俯瞰変換手段２２と、変換された俯瞰画像に基づいて車両の下方の路面状況を示す周囲画像３７を作成する周囲画像作成手段２５と、作成された周囲画像３７に対して、車両のタイヤ位置を示す仮想車両画像４１を重畳する車両画像重畳手段２６と、車両画像重畳手段２６により仮想車両画像４１が重畳された周囲画像３７を表示する表示手段とを備える。
【選択図】図１

Description

本発明は、車両の進行方向を撮影した映像を俯瞰画像に変換して表示手段で表示させることによって、運転者の車両状況判断を支援する車両周囲表示システムに関する。

カーナビゲーションシステムの普及に伴い、地図情報を表示するためのディスプレイを車内に搭載する車が多くなってきた。今日では、車両後部に車両後方を撮影するカメラを設置し、ディスプレイにカメラの映像を表示させることによって駐車支援を行うシステムが提供されている。

例えば、トランク先端部やナンバープレートの照明位置などにカメラを設置し、ディスプレイに車両後方の映像を映し出すことによって、トラック等の車両後方視界が悪い車両において駐車操作を行う場合や運転初心者が駐車操作を行う場合等に、安全に車両を駐車スペースに誘導することが可能となる。

しかしながら、駐車支援に用いられるカメラは、広い視野角度で車両後方を撮影するために広角レンズを用いることが多く、図１７（ａ）に示すように、撮影された映像の端部１が歪んでしまう傾向にあった。さらに、ナンバープレートの照明位置などにカメラを設置した場合には、カメラの撮影視点が低くなってしまうため、運転者が車両と周囲との位置関係を正確に判断することが困難であるという問題があった。

このような問題を解決するために、カメラにより撮影された画像を車両上空より擬似的に見下ろした平面画像（俯瞰画像）に変換することによって、車両と周囲との位置関係を把握しやすくする方法が提案されている（例えば、特許文献１参照）。

しかしながら、特許文献１に示すような俯瞰画像技術を用いて車両後方の映像を俯瞰画像に変換すると、車両近傍の様子をカメラで撮影することができないため車両近傍側の周囲の様子を画像（図１７（ｂ）における符号２部分）として表示することができないという問題があった（図１７（ｂ）参照）。

このような欠点を避けるために、図１８（ａ）に示すように、車両５に４台のカメラ３ａ〜３ｄを設置して車両５の前後左右の様子を撮影し、図１８（ｂ）に示すように４つのカメラ３ａ〜３ｄで撮影された映像をそれぞれ俯瞰画像に変換・合成することによって、車両の周囲の状況を俯瞰画像６として運転者に提供する方法が提案されている。
特開２００３−２０９８３５号公報（第２−３頁、第４図、第７図）

ところで、運転者が駐車操作を行う場合には、車両周囲の状況を判断するだけでなく、車止め等の地面上の障害物とダイヤとの位置関係を把握する必要がある。地面上の障害物とタイヤとの状況を把握することができるシステムがあれば、単に駐車操作を行う場合だけでなく、轍などの路面凹凸部の回避や縁石の乗り上げを防止する点において有効に利用することができるが、図１８（ｂ）に示すような俯瞰画像の合成では車両の下方の路面状況を表示することができないという問題があった。

地面上の障害物とダイヤとの位置関係を把握するために、各タイヤ位置近傍に各タイヤ専用のカメラを設置する方法が考えられるが、システム規模が大きくなると共にシステムの複雑化・高コスト化を招いてしまうため、現実に車両に設置することが困難であるという問題があった。

本発明は上記問題に鑑みてなされたものであり、車両の下方の路面状況を明示すると共に、その路面状況に対応する車両のタイヤ位置を運転者が容易に判断することができる車両周囲表示システムを提供することを課題とする。

上記課題を解決するために、本発明に係る車両周囲表示システムは、車両の進行方向を撮像する撮像手段と、該撮像手段で撮像された画像を俯瞰画像へ変換する俯瞰変換手段と、該俯瞰変換手段によって変換された俯瞰画像に基づいて、前記車両の下方の路面状況を示す周囲画像を作成する周囲画像作成手段と、該周囲画像作成手段により作成された周囲画像に対して、前記車両のタイヤ位置を示す仮想車両画像を重畳する車両画像重畳手段と、該車両画像重畳手段により前記仮想車両画像が重畳された周囲画像を表示する表示手段とを備えることを特徴とする。

また、前記周囲画像作成手段が、前記俯瞰変換手段によって変換された俯瞰画像を、前記撮像手段により撮像された順番でつなぎ合わせることによって、前記周囲画像を作成するものであってもよい。

さらに、前記車両の移動距離を検出する移動距離検出手段を備え、前記周囲画像作成手段は、前記移動距離検出手段により検出された移動距離に基づいて、つなぎ合わせを行う前記俯瞰画像の範囲を決定するものであってもよい。

また、前記車両の操舵角を検出する操舵角検出手段を備え、前記周囲画像作成手段は、前記操舵角検出手段により検出された操舵角に応じて前記周囲画像を回転させるものであってもよい。

さらに、前記撮像手段は前記車両の進行方向に対して１台しか設置されないものであってもよい。

本発明に係る車両周囲表示システムでは、撮像手段により撮影された時間が異なる俯瞰画像をつなぎ合わせることによって、車両進行時に撮影した画像を周囲画像として再構築することができるので、車両近傍の俯瞰画像まで周囲情報として表示手段に表示することができ、車両周囲の全ての情報を運転者に提示することが可能となる。

特に、車両の真下となってしまう部分まで周囲画像として表示手段に表示させることができるため、運転者は車両の下方の路面状況を容易に判断することができる。また、仮想車両画像が周囲画像に重畳表示されるため、運転者は車両の下方の路面状況に対し、車両のタイヤがどの位置に存在するかを視覚的に判断することができ、タイヤと路面上の障害物との関係を容易に把握することが可能となる。

以下、本発明に係る車両周囲表示システムを、図面を用いて詳細に説明する。

図１は、実施例１に係る車両周囲表示システムの概略構成を示したブロック図である。車両周囲表示システム２０は、カメラ（撮像手段）２１と、俯瞰変換ユニット（俯瞰変換手段）２２と、操舵角検出部（操舵角検出手段）２３と、移動距離検出部（移動距離検出手段）２４と、画像処理部（周囲画像作成手段）２５と、画像重畳部（車両画像重畳手段）２６と、画像データ記憶部２７と、ディスプレイ（表示手段）２８と、画像処理用メモリ２９とを有している。

カメラ２１は、車両の進行方向側の中央端部に１台設けられており、車両走行時に路面状況を撮影するため視点をやや下方に向けた状態で設置されている。カメラ２１には広角レンズが用いられており、車両の進行方向側の様子をより広い視野で撮影することが可能となっている。なお、本実施形態においては、説明の便宜上カメラ２１を車両の中央前端部に設置するものとするが、必ずしもカメラ２１を車両前端部に設置する必要はなく、車両の進行方向側に設置されていれば、車両後端部に設置してもよい。

俯瞰変換ユニット２２は、カメラ２１により撮影された路面画像の歪みを修整して車両の上方より真下を見下ろした画面へと俯瞰変換し、また必要に応じて画像の拡大／縮小を行う。なお、俯瞰画像に変換する技術は、特開平３−９９９５２号公報、特開平９−１７１３４８号公報、特開２００１−１１４０４８号公報、特開２００１−１１６５６７号公報等に公開されており、いわゆる当業者にとって公知の技術であるため、その詳細な説明は省略する。

操舵角検出部２３は、運転者がハンドルを回転することにより出力されるパルス信号を検出することによって、ハンドルが中立位置を基準としてどの程度操舵されているかを判断する。操舵角検出部２３は、検出された操舵角情報を画像処理部２５に出力する。

移動距離検出部２４は、車両の走行（移動）に伴って出力される車速パルスをカウントすることによって車両の移動距離を検出する。移動距離検出部２４は、検出された移動距離情報を画像処理部２５に出力する。

画像処理部２５は、俯瞰変換ユニット２２により変換された俯瞰画像を取得して車両の周囲を示す車両周囲画像（周囲画像）を作成する処理を行う。画像処理用メモリ２９は、画像処理部２５が車両周囲画像を作成する際に使用する作業用メモリとして用いられる。

画像処理部２５が車両周囲画像を作成する手順を、図２〜図５を用いて説明する。

カメラ２１で撮影された映像は、俯瞰変換ユニット２２によって一定のタイミングで俯瞰画像に変換され、画像処理部２５に出力される。このため、車両が走行している状態においてカメラ２１で撮影され映像が俯瞰変換ユニット２２により俯瞰画像に変換されると、撮影された時間変化（経時変化）に応じて異なる俯瞰画像が作成される。画像処理部２５は、この俯瞰画像のうち異なる部分（俯瞰画像部）をつなぎ合わせることによって車両周囲画像を作成する。

図２（ａ）は、時刻Ｔにおいてカメラ２１で撮影され、俯瞰変換ユニット２２で変換された俯瞰画像を示しており、図中の丸記号は、障害物３１を示している。これに対して、図２（ｂ）は、時刻ＴよりもΔｔだけ前の時間にカメラ２１で撮影され、俯瞰変換ユニット２２で変換された俯瞰画像を示している。図２（ａ）、（ｂ）に示すように、時間Ｔ−Δｔにおいて撮影された障害物３１は、車両がΔｔ時間に移動した（近づいた）状態となってカメラ２１で撮影される。このことからわかるように、図２（ｂ）には図２（ａ）には表示されていない、車両が時間Δｔだけ移動した距離分の画像３３が記録されていることとなる。

画像処理部２５は、変換された俯瞰画像の経時的変化を考慮して俯瞰画像から一定の画像３３を抽出し、抽出された部分をつなぎ合わせることによって車両の周囲の俯瞰画像３５を作成する（図３（ａ）参照）。なお、画像３３の抽出範囲は、移動距離検出部２４により検出される移動距離を考慮して決定される。

そして、制御処理部は、時間Ｔにおいて作成された俯瞰画像のうち車両近傍部の画像３６（図２（ａ）、図３（ｂ）参照）を、作成された俯瞰画像３５に重ね合わせることによって車両周囲画像３７（図４（ａ）参照）を作成する。なお、図３（ａ）、図４（ａ）において、符号３８は時間Ｔ−２ΔＴに撮影された映像より作成された俯瞰画像を示し、符号３９は時間Ｔ-３Δｔ時間の俯瞰画像を示している。

さらに、画像処理部２５は、操舵角検出部２３より取得した操舵角情報に基づいて既に作成された車両周囲画像３７を回転させることによって、車両周囲画像３７で示される周囲状況と現実の車両の周囲状況とが一致するように画像処理を施す。

図５（ａ）は、車両走行状態においてハンドルが中立位置に操舵された場合にディスプレイ２８に表示される映像を示したものであり、車両周囲画像３７に対して後述する仮想車両画像４１が重畳（合成）描画されている。一方で、図５（ｂ）は、車両走行状態においてハンドルが左に回転された場合にディスプレイ２８に表示される映像を示したものであり、同様に、車両周囲画像３７に対して仮想車両画像４１が重畳（合成）描画されている。

図５（ａ）においては、ハンドルが中立位置にあるため、つなぎ合わされた俯瞰画像の連結部４２が互いに水平になっているのに対して、図５（ｂ）においては、ハンドルが左に回転された状態にあるため、俯瞰画像をつなぎ合わせる際に、左に回転させた俯瞰画像に対して新たな俯瞰画像がつなぎ合わされることとなる。このため、連結部４２が画面左側から右下方向に傾斜した状態となる。このように、画像処理部２５は、移動距離及びハンドルの操舵角に応じて俯瞰画像を抽出し、つなぎ合わせ、回転させることによって、車両周囲画像３７で示される周囲状況と現実の車両の周囲状況とを一致させ、車両の真下の状況をも含む車両周囲画像３７を作成する。

画像データ記憶部２７には、上述した仮想車両画像４１が記憶されている。仮想車両画像４１は、図４（ｂ）に示すように、車両の輪郭４１ａと車両のタイヤ位置を示すタイヤ画像４１ｂとサイドミラーを示すミラー画像４１ｃとにより構成されており、車両周囲画像３７の縮尺比率に車両の輪郭４１ａの全長・全幅、タイヤ画像４１ｂの配置位置等が対応するように大きさが調整されている。

画像重畳部２６は、画像処理部２５により作成された車両周囲画像３７と、画像データ記憶部２７に記憶された仮想車両画像４１とを重畳させる機能を有している。仮想車両画像４１を車両周囲画像３７に重畳させてディスプレイ２８に表示させることにより、運転者は車両の周囲の状況を容易に把握することが可能となる。

ディスプレイ２８は、画像重畳部２６で重畳された車両周囲画像３７と仮想車両画像４１とを表示する。ディスプレイ５は、車両のインストルメントパネル上部に載置されたり、インストルメントパネルのカーオーディオ設置スペースにビルトインされたりすることによって、運転者が視認しやすい場所に設置される。なお、ディスプレイ５は、画像重畳部２６により重畳された映像を表示するためだけに設置するものでもよいし、カーナビゲーションシステムの地図情報表示用のディスプレイと兼用するものであってもよい。

次に図６に示すフローチャート及び図７に示す説明図を用いて、本発明に係る車両周囲表示システム２０によりカメラ２１で車両進行方向の映像を撮影してから、ディスプレイ２８に車両周囲画像３７と仮想車両画像４１との重畳画像が表示される間での処理を説明する。

まずカメラ２１により撮影された車両後方の映像は俯瞰変換ユニット２２へ出力され、俯瞰画像に変換される。変換された俯瞰画像は画像処理部２５に出力される。

画像処理部２５では、取得した俯瞰画像を画像処理用メモリ２９に記録するとともに（ステップＳ１）、移動距離検出部２４から移動距離情報を取得し（ステップＳ２）、さらに操舵角検出部２３から操舵角情報を取得する（ステップＳ３）。

その後、画像処理部２５は、図７に示すように、記録された俯瞰画像４５から車両近傍部を示す台形状の俯瞰画像部Ａ１と、俯瞰画像部Ａ１に隣接する俯瞰画像部Ａ２とを切り出す（ステップＳ４）。

なお、俯瞰画像部Ａ２の切り出しは、移動距離検出部２４により取得した移動距離情報に応じて決定される。例えば、前回（例えば時間Ｔ−Δｔ）の俯瞰画像部Ｂ１の切り出しが行われてから、今回（例えば時間Ｔ）の俯瞰画像部Ａ２の切り出しが行われるまでに車両が少ししか移動しなかった場合、前回の俯瞰画像で示される車両周囲の状況と今回の俯瞰画像とで示される車両周囲の状況とには、あまり相違がないため、俯瞰画像部Ａ２を切り出す面積（範囲）は小さくなる。一方で、前回（例えば時間Ｔ−Δｔ）の俯瞰画像部Ｂ１の切り出しが行われてから、今回（例えば時間Ｔ）の俯瞰画像部Ａ２の切り出しが行われるまでに車両が長い距離移動した場合、前回の俯瞰画像で示される車両周囲の状況と今回の俯瞰画像とで示される車両周囲の状況とでは、表示される車両周囲の状況が大きく異なるため、俯瞰画像部Ａ２を切り出す面積（範囲）は大きくなる。

そして、画像処理部２５は、操舵角検出部２３より取得した操舵角情報に基づいて、切り出し時間の異なる俯瞰画像部Ｂ１、Ｂ２・・をつなぎ合わせることによって予め作成されている車両周囲画像を回転変換させる（ステップＳ５）。例えば、ハンドルが左に回転されている場合には、図７に示すように車両周囲画像３７左に回転させて、現実の車両の周囲状態と対応するように車両周囲画像の修正を行う。

その後、画像処理部２５は、回転が行われた車両周囲画像に対して、切り出した俯瞰画像部Ａ２をつなぎ合わせることによって、新たに車両周囲画像３７ａを作成する（ステップＳ６）。ここで、車両周囲画像３７ａを作成する場合、本実施形態ではカメラ２１が車両の中央前端部に設置され、設置された方向に車両が移動する（つまり、車両が前進する）場合を説明しているので、図７に示すように、新しい俯瞰画像部Ａ２が古い俯瞰画像部Ｂ１、Ｂ２・・・の上側に位置するようにしてつなぎ合わされる。

そして画像処理部２５は、作成された車両周囲画像３７ａにおける車両位置を考慮して、ディスプレイ２８に表示させるための車両周囲画像３７ｂを一定範囲で切り出し、さらに俯瞰画像部Ａ１を重畳させることによって画像重畳部２６に出力する車両周囲画像３７を作成する（ステップＳ７）。

画像処理部２５は、作成された車両周囲画像３７を画像重畳部２６に出力し（ステップＳ８）、画像重畳部２６では、取得した車両周囲画像３７と、画像データ記憶部２７に記憶される仮想車両画像４１とを重畳させて、ディスプレイ２８に表示させる。

その後、画像処理部２５は、上述した処理を繰り返し実行することによって車両周囲の状況をリアルタイムに表す車両周囲画像３７を作成し、ディスプレイ２８に表示させる。

このように、本発明に係る車両周囲表示システム２０を用いることによって、１台のカメラ２１と１台の俯瞰変換ユニット２２だけで車両の前後左右の周囲状況を俯瞰画像として運転者に提示することができるので、システムコストの低廉化を図ることができる共に、システムの複雑化、大型化を回避することが可能となる。

また、カメラにより撮影された時間が異なる俯瞰画像を切り出し・つなぎ合わせることによって、車両進行時に撮影した画像を車両周囲画像として再構築することができるので、車両近傍の俯瞰画像まで周囲情報としてディスプレイ２８に表示することができ、車両周囲の全ての情報を運転者に提示することが可能となる。

特に、車両の真下となってしまう部分まで車両周囲画像３７としてディスプレイ２８に表示させることができるため、運転者は車両の下方の路面状況を容易に判断することができる。また、仮想車両画像４１が車両周囲画像３７に重畳表示されるため、運転者は車両の下方の路面状況に対し、車両のタイヤがどの位置に存在するかを視覚的に判断することができ、タイヤと路面上の障害物との関係を容易に把握することができる。

次に実施例２に係る車両周囲表示システムについて説明する。なお、実施例１において説明した構成部分と同様の機能を有する構成部分については、同一の符号を用いて説明を行うと共に、実施例２におけるその構成部分の説明は省略するものとする。

実施例１において説明した車両周囲システムでは、車両の中央部前端に１台しかカメラ２１を設置しなかったが、カメラ２１を車両前端部だけでなく後端部にも設置する構成としてもよい。

図８は、実施例２に係る車両周囲表示システム２０ａの概略構成を示したブロック図である。車両周囲表示システム２０ａは、２台のカメラ２１ｆ，２１ｒと、俯瞰変換ユニット２２と、操舵角検出部２３と、移動距離検出部２４と、画像処理部２５と、画像重畳部２６と、画像データ記憶部２７と、ディスプレイ２８と、画像処理用メモリ２９と、シフト操舵検出部５０と、切換器５１とを有している。

カメラ２１ｆは車両の前端部に設置されたカメラであり、カメラ２１ｒは車両の後端部に設置されたカメラである。

シフト操作検出部５０は、シフトレバーが運転者によりどの位置に操作されているかを検出し、検出されたシフトレバーのシフト位置情報を画像処理部２５と切換器５１とに対して出力する。

切換器５１は、シフト操作検出部５０より受信したシフト位置情報に基づいて、俯瞰変換ユニット２２に出力されるカメラ映像の切り換えを行う。

次に、車両周囲表示システム２０ａにおける処理を、図８に示すフローチャート及び図９に示す説明図を用いて説明する。

まず、カメラ２１ｆ又はカメラ２１ｒで撮影された車両前方又は車両後方の映像が俯瞰変換ユニット２２へ出力される。カメラ２１ｆとカメラ２１ｒとの出力選択は、シフトレバーの操作状態に応じて切換器５１よって判断され、シフトレバーが車両を前進させるシフト位置に操作されている場合（つまり、車両が前進する場合）には、カメラ２１ｆで撮影され映像が俯瞰変換ユニット２２に出力され、シフトレバーが車両を後退させるシフト位置（リバース位置）に操作されている場合（つまり、車両が後退している場合）には、カメラ２１ｒで撮影され映像が俯瞰変換ユニット２２に出力される。

俯瞰変換ユニット２２は、取得したカメラの映像を俯瞰画像に変換し、変換した俯瞰画像を画像処理部２５に出力する。

画像処理部２５は、シフト操作検出部５０よりシフトレバーの操作情報を取得する（ステップＳ１０）。取得された操作状況よりシフトレバーがリバース位置に操作されていない場合（つまり、車両が前進する場合）には、図７に示す車両周囲画像の作成処理（ステップＳ１〜Ｓ８）を実行する。ステップＳ１〜Ｓ８の具体的な処理は、実施例１において既に説明されているため、ここでの説明は省略する。

一方で、シフト操作検出部５０より取得した操作状況よってシフトレバーがリバースに操作されている場合（つまり、車両が後退する場合）、画像処理部２５は、車両が後退する状態における車両周囲画像３７を作成する必要があると判断して、次述する処理を実行する。

画像処理部２５は、取得した俯瞰画像４５を画像処理用メモリ２９に記録するとともに（ステップＳ１１）、移動距離検出部２４から移動距離情報を取得し（ステップＳ１２）、操舵角検出部２３から操舵角情報を取得する（ステップＳ１３）。

その後、画像処理部２５は、図１０に示すように、記録された俯瞰画像４５から車両近傍部を示す台形状の俯瞰画像部Ａ３と、俯瞰画像部Ａ３に隣接する俯瞰画像部Ａ４とを切り出す（ステップＳ１４）。なお、俯瞰画像部Ａ４の切り出しは、移動距離検出部２４により取得した移動距離情報に応じて決定される。

そして、画像処理部２５は、切り出された俯瞰画像部Ａ３と俯瞰画像部Ａ４とを１８０度回転させて上下を逆さまにする（ステップＳ１５）。車両後端部に設置されたカメラの映像により俯瞰画像を作成すると、車両後方側が俯瞰画像の上側になってしまう。しかしながら、車両前方側が上側になるように俯瞰画像をディスプレイ２８に表示させないと、運転者が違和感を感じてしまい、車両周囲の状況を俯瞰画像から瞬時に判断することが困難となってしまう。そのため、画像処理部２５は、切り取った俯瞰画像部Ａ３、Ａ４を逆さまにし、車両前方側が上側となるように車両周囲画像３７ａを作成する。

画像処理部２５は、切り出し時間の異なる俯瞰画像部Ｃ１、Ｃ２・・をつなぎ合わせることによって予め作成されている車両周囲画像を回転変換させる（ステップＳ１６）。

その後、画像処理部２５は、切り出した俯瞰画像部Ａ４を、回転が行われた車両周囲画像につなぎ合わせることによって、新たに車両周囲画像３７ａを作成する（ステップＳ１７）。ここで作成する車両周囲画像３７ａは、新しい俯瞰画像部Ａ４が古い俯瞰画像部Ｃ１、Ｃ２・・・の下側に位置するようにして順次つなぎ合わされる。このように新しい俯瞰画像部Ａ４を下側して新しい俯瞰画像を作成することによって、車両周囲画像３７ａの下側を車両後方側とした車両周囲画像３７ａを作成することが可能となる。

さらに、画像処理部２５は、作成された車両周囲画像３７ａにおける車両位置を考慮して、ディスプレイ２８に表示させるための車両周囲画像３７ｂを一定範囲で切り出し、俯瞰画像部Ａ３を車両周囲画像３７ｂの一番下部分に重畳させることによって画像重畳部２６に出力する車両周囲画像３７を作成する（ステップＳ１８）。

画像処理部２５は、作成された車両周囲画像３７を画像重畳部２６に出力し（ステップＳ１９）、画像重畳部２６では、取得した車両周囲画像３７と画像データ記憶部２７に記憶される仮想車両画像４１とを重畳させて、ディスプレイ２８に表示させる。

上述したように、本実施例に係る車両周囲表示システム２０ａは、車両の前端部及び後端部にカメラ２１ｆ、２１ｒをそれぞれ設置し、シフトレバーの操作状態に応じてカメラ２１ｆ、２１ｒの撮影画像を切り替えて車両周囲画像３７を作成することができるため、車両の進行方向に限定されることなく車両の周囲状況を俯瞰画像として提供することができ、運転者が容易に周囲状況を判断することができる。

次に、実施例３に係る車両周囲表示システム２０ｂについて説明する。なお、実施例１及び実施例２において説明した構成部分と同様の機能を有する構成部分については、同一の符号を用いて説明を行うと共に、実施例３におけるその構成部分の説明は省略するものとする。

実施例１及び実施例２では、車両の進行方向のみ、具体的には車両の前端部及び後端部にのみカメラを設置することとしたが、必ずしもカメラの設置位置は車両の進行方向のみに限定される必要はなく、車両進行方向を撮影するカメラに加えて車両の側方等を撮影するカメラを加えることにより車両周囲画像を作成しても良い。

図１１は、実施例３に係る車両周囲表示システム２０ｂの概略構成を示したブロック図である。車両周囲表示システム２０ｂは、４台のカメラ２１ａ〜２１ｄと、４台の俯瞰変換ユニット２２ａ〜２２ｄと、操舵角検出部２３と、移動距離検出部２４と、画像処理部２５と、画像重畳部２６と、画像データ記憶部２７と、ディスプレイ２８と、画像処理用メモリ２９と、シフト操舵検出部５０と、２台の切換器５１ａ、５１ｂとを有している。

４台のカメラ２１ａ〜２１ｄは、図１８（ａ）に示すカメラ３ａ〜３ｄと同様に、車両の前後左右をそれぞれ撮影できる位置に個別に設置される。具体的には、カメラ２１ａは車両の前方向を撮影するために車両前端部に設置され、カメラ２１ｂは車両の後方向を撮影するために車両後端部に設置され、カメラ２１ｃは車両の左側方向を撮影するために車両左側のサイドミラーに設置され、カメラ２１ｄは車両の右側方向を撮影するために車両右側のサイドミラーに設置される。

俯瞰変換ユニット２２ａ〜２２ｄは、各カメラ２１ａ〜２１ｄにより撮影された映像を俯瞰画像に変換する。具体的には、俯瞰変換ユニット２２ａがカメラ２１ａにより撮影された映像を俯瞰画像に変換し、俯瞰変換ユニット２２ｂがカメラ２１ｂにより撮影された映像を俯瞰画像に変換し、俯瞰変換ユニット２２ｃがカメラ２１ｃにより撮影された映像を俯瞰画像に変換し、俯瞰変換ユニット２２ｄがカメラ２１ｄにより撮影された映像を俯瞰画像に変換する。ここで、俯瞰変換ユニット２２ｃ、２２ｄと次述する切換器５１ｂにより画像重畳部２６に接続された俯瞰変換ユニット（２２ａ又は２２ｂ）とは、変換された俯瞰画像の一部を切り出した重畳用の俯瞰画像を作成する。例えば、図１５に示すように、画像変換ユニット２２ｃは、作成された俯瞰画像６１より、重畳画像部５６を切り出して重畳用の俯瞰画像６３を作成する。

切換器５１ａは俯瞰変換ユニット２２ａにより変換され俯瞰画像と、俯瞰変換ユニット２２ｂにより変換された俯瞰画像とのどちらか一方の俯瞰画像を選択して画像処理部２５部に送出する機能を有しており、切換器５１ｂは、切換器５１ａにより選択されなかった方の俯瞰変換ユニットを選択して、該当する俯瞰変換ユニットの俯瞰画像を画像重畳部２６に出力する。切換器５１ａ、５１ｂの切り換え選択は、実施例２の切換器５１と同様に、シフト操作検出部５０の検出結果に基づいて実行される。

切換器５１ａは、シフトレバーが車両を前進させるシフト位置に操作された場合には、俯瞰変換ユニット２２ａと画像処理部２５とを接続させ、シフトレバーが車両を後退させるシフト位置（リバース位置）に操作された場合には、俯瞰変換ユニット２２ｂと画像処理部２５とを接続させる。また、切換器５１ｂは、シフトレバーが車両を前進させるシフト位置に操作された場合には、俯瞰変換ユニット２２ｂと画像重畳部２６とを接続させ、シフトレバーが車両を後退させるシフト位置（リバース位置）に操作された場合には、俯瞰変換ユニット２２ａと画像重畳部２６とを接続させる。

次に、車両周囲表示システム２０ｂにおける処理を、図１２〜図１５示す図面を用いて説明する。

まず、各カメラ２１ａ〜２１ｄにより撮影された映像が各俯瞰変換ユニット２２ａ〜２２ｄへ出力される。俯瞰変換ユニット２２ａ〜２２ｄでは、取得した映像を俯瞰画像に変換する。具体的に、俯瞰変換ユニット２２ｃは、カメラ２２ｃより取得した映像を、図１３の符号６１に示すような俯瞰画像に変換し、俯瞰変換ユニット２２ｄは、カメラ２２ｄより取得した映像を、図１３の符号６２に示すような俯瞰画像に変換する。さらに、俯瞰変換ユニット２２ｃ、２２ｄは、変換された俯瞰画像６１、６２を、画像重畳部２６における重畳処理に適した俯瞰画像６３、６４に変換して画像重畳部２６に出力する。

俯瞰変換ユニット２２ａ及び俯瞰変換ユニット２２ｂで変換された俯瞰画像は、切換器５１ａ、５１ｂの切り換えに応じて、一方が画像処理部２５に出力され、他方が画像重畳部２６に出力される。

画像処理部２５は、シフト操作検出部５０よりシフト位置情報を取得し、シフトレバーがリバース位置に操作されている否かの判断を行う（ステップＳ２０）。取得されたシフト位置情報よりシフトレバーがリバース位置に操作されていない場合（つまり、車両が前進する場合）には、車両前方を撮影するカメラ２１ａの俯瞰画像に基づいて車両周囲画像３７を作成するものと判断し、俯瞰変換ユニット２２ａより、俯瞰画像４５を取得して画像処理用メモリ２９に記録する（ステップＳ２１）。さらに、画像処理部２５は、移動距離検出部２４から移動距離情報を取得し（ステップＳ２２）、操舵角検出部２３から操舵角情報を取得する（ステップＳ２３）。

その後、画像処理部２５は、図１３に示すように、記録された俯瞰画像４５から車両近傍部を示す台形状の俯瞰画像部Ａ５と、俯瞰画像部Ａ５に隣接する俯瞰画像部Ａ６とを切り出す（ステップＳ２４）。なお、俯瞰画像部Ａ６の切り出しは、移動距離検出部２４により取得した移動距離情報に応じて決定される。

そして、画像処理部２５は、操舵角検出部２３より取得した操舵角情報に基づいて、切り出し時間が異なる俯瞰画像部Ｄ１、Ｄ２・・をつなぎ合わせることによって予め作成されている車両周囲画像を回転変換させ（ステップＳ２５）、現実の車両の周囲状態と対応するように車両周囲画像の修正を行う。

その後、画像処理部２５は、回転が行われた車両周囲画像に対して、切り出した俯瞰画像Ａ６をつなぎ合わせることによって、新たな車両周囲画像３７ａを作成する（ステップＳ２６）。尚、ステップＳ２６における処理は、シフトレバーがリバース位置以外の位置に操作された場合（ステップＳ２０においてＮＯ場合）の処理に該当するので、図１３に示すように、新しい俯瞰画像部Ａ６を古い俯瞰画像部Ｄ１、Ｄ２・・・の上側に位置するようにしてつなぎ合わせることによって、新しい俯瞰画像部Ａ６が車両周囲画像３７ａの上側に位置するようにして車両周囲画像が作成される。

そして画像処理部２５は、作成された車両周囲画像３７ａにおける車両位置を考慮して、ディスプレイ２８に表示させるための車両周囲画像３７ｂを一定範囲で切り出し、さらに俯瞰画像部Ａ５を重畳させることによって画像重畳部２６に出力する車両周囲画像３７ｃを作成する（ステップＳ２７）。画像処理部２５は、作成された車両周囲画像３７ｃを画像重畳部２６に出力する（ステップＳ２８）。

一方で、カメラ２１ｂで撮影された映像は、俯瞰変換ユニット２２ｂにより、図１３に示す俯瞰画像６５に変換された後、重畳に適した俯瞰画像６６となって画像重畳部２６に出力される。

画像重畳部２６は、図１３に示すように、俯瞰変換ユニット２２ｃにより作成された俯瞰画像６３と、俯瞰変換ユニット２２ｄにより作成された俯瞰画像６４と、俯瞰変換ユニット２２ｂにより作成された俯瞰画像６６と重畳させることによって、車両の左右及び後方の映像に基づいて作成される俯瞰画像６７を生成する。次いで、画像重畳部２６は、画像処理部２５より取得した車両周囲画像３７ｃに対して俯瞰画像６７を重畳させることによって、図１５（ａ）に示すような車両周囲画像３７を作成する。さらに、画像重畳部２６は、作成された車両周囲画像３７に対して画像データ記憶部２７に記憶される仮想車両画像４１とを重畳させ（図１５（ｂ））、仮想車両画像４１が重畳された車両周囲画像３７をディスプレイ２８に出力する。

取得された操作状況よりシフトレバーがリバース位置に操作されている場合（つまり、車両が後退する場合）には、車両後方を撮影するカメラ２１ｂの俯瞰画像に基づいて車両周囲画像３７を作成するものと判断し、俯瞰変換ユニット２２ｂより、俯瞰画像４５を取得して画像処理用メモリ２９に記録する（ステップＳ２９）。さらに、画像処理部２５は、移動距離検出部２４から移動距離情報を取得し（ステップＳ３０）、操舵角検出部２３から操舵角情報を取得する（ステップＳ３１）。

そして、画像処理部２５は、図１６に示すように、俯瞰画像４５より俯瞰画像部Ａ７と俯瞰画像部Ａ８を切り出し（ステップＳ３２）、切り出された俯瞰画像部Ａ７と俯瞰画像部Ａ８とを１８０度回転させて上下を逆さまにすることによって（ステップＳ３３）、車両前方側が上側となるように車両周囲画像３７ａを作成する。

その後、画像処理部２５は、切り出し時間が異なる俯瞰画像部Ｅ１、Ｅ２・・をつなぎ合わせることによって予め作成されている車両周囲画像を回転させる（ステップＳ３４）。

その後、画像処理部２５は、切り出した俯瞰画像部Ａ８を、回転が行われた車両周囲画像につなぎ合わせることよって、新たに車両周囲画像３７ａを作成する（ステップＳ３５）。ここで作成する車両周囲画像３７ａは、新しい俯瞰画像部Ａ８が古い俯瞰画像部Ｅ１、Ｅ２・・・の下側に位置するようにして順次つなぎ合わされる。このように新しい俯瞰画像部Ａ８を下側して新しい車両周囲画像３７ａを作成することによって、車両周囲画像３７ａの下側を車両後方側とした車両周囲画像３７ａを作成することが可能となる。

さらに、画像処理部２５は、作成された車両周囲画像３７ａにおける車両位置を考慮して、ディスプレイ２８に表示させるための車両周囲画像３７ｂを一定範囲で切り出し、俯瞰画像部Ａ７を車両周囲画像３７ｂの一番下部分に重畳させることによって画像重畳部２６に出力する車両周囲画像３７ｃを作成する（ステップＳ３６）。画像処理部２５は、作成された車両周囲画像３７ｃを画像重畳部２６に出力する（ステップＳ３７）。

一方で、カメラ２１ａで撮影された映像は、俯瞰変換ユニット２２ａにより、図１６に示す俯瞰画像６８に変換された後、重畳に適した俯瞰画像６９となって画像重畳部２６に出力される。

画像重畳部２６は、図１６に示すように、俯瞰変換ユニット２２ｃにより作成された俯瞰画像６３と、俯瞰変換ユニット２２ｄにより作成された俯瞰画像６４と、俯瞰変換ユニット２２ａにより作成された俯瞰画像６９とを重畳させることによって、車両の左右及び前方の映像に基づいて作成される俯瞰画像７０を生成する。次いで、画像重畳部２６は、画像処理部２５より取得した車両周囲画像３７ｃに対して俯瞰画像７０を重畳させることによって車両周囲画像３７を作成する。さらに、画像重畳部２６は、作成された車両周囲画像３７に対して画像データ記憶部２７に記憶される仮想車両画像４１とを重畳させ、仮想車両画像４１が重畳された車両周囲画像３７をディスプレイ２８に出力する。

その後、画像処理部２５は、上述した処理を繰り返し実行することによって車両周囲の状況をリアルタイムに表す車両周囲画像３７を作成し、ディスプレイ２８に表示させる。

このように、実施例３に係る車両周囲表示システム２０ｂを用いることによって、実施例１及び実施例２に示す車両周囲表示システムと同様に、車両の真下となってしまう部分まで車両周囲画像３７としてディスプレイ２８に表示させることができるため、運転者は車両の下方の路面状況を容易に判断することができる。また、仮想車両画像４１が車両周囲画像３７に重畳表示されるため、運転者は車両の下方の路面状況に対し、車両のタイヤがどの位置に存在するかを視覚的に判断することができ、タイヤと路面上の障害物との関係を容易に把握することができる。

以上、本発明に係る車両周囲表示システム２０〜２０ｂを、図面を用いて説明したが、本発明に係る車両周囲表示システムは上述したものに限定されるものではない。当業者であれば特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到しうることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

実施例１に係る車両周囲表示システムの概略構成を示したブロック図である。 （ａ）は時間Ｔにおける俯瞰画像を示し、（ｂ）は時間Ｔ−Δｔにおける俯瞰画像を示した図である。 俯瞰画像を切り出して作成される車両周囲画像を示したものであり、（ａ）は時間Ｔ−Δｔまでの俯瞰画像部をつなぎ合わせた車両周囲画像であり、（ｂ）は時間Ｔにおいて切り出された俯瞰画像部である。 （ａ）は、図３（ａ）の俯瞰画像と図３（ｂ）の俯瞰画像とを重畳させた図であり、（ｂ）は仮想車両画像を示した図である。 （ａ）はハンドルが中立位置にある車両の車両周囲画像と仮想車両画像とを重畳させた図であり、（ｂ）はハンドルが左に回転された車両の車両周囲画像と仮想車両画像とを重畳させた図である。 実施例１おいて画像処理部が行う処理を示したフローチャートである。 図６に示すフローチャートにおいて作成される車両周囲画像の作成手順を示した説明図である。 実施例２に係る車両周囲表示システムの概略構成を示したブロック図である。 実施例２おいて画像処理部が行う処理を示したフローチャートである。 図９に示すフローチャートにおいて作成される車両周囲画像の作成手順を示した説明図である。 実施例３に係る車両周囲表示システムの概略構成を示したブロック図である。 実施例３おいて画像処理部が行う処理を示したフローチャートである。 図１１に示すフローチャートにおいて作成される車両周囲画像の作成手順を示した説明図である。 俯瞰画像ユニットで変換された俯瞰画像より重畳に適した俯瞰画像を作成する処理を説明した図である。 （ａ）は画像重畳部において作成される車両周囲画像を示し、（ｂ）は（ａ）に示す車両周囲画像に対して仮想車両画像を重畳させた画像を示している。 図１１に示すフローチャートにおいて作成される車両周囲画像の作成手順を示した他の説明図である。 （ａ）広角レンズを備えたカメラにより撮影された映像を示した図であり、（ｂ）は（ａ）で示される映像を俯瞰画像に変換した図である。 （ａ）は４台のカメラを車両に設置した様子を示しており、（ｂ）は（ａ）に示すカメラで撮影された俯瞰画像をつなぎ合わせて作成した車両周囲画像を示した図である。

符号の説明

２０、２０ａ、２０ｂ …車両周囲表示システム
２１、２１ｆ、２１ｒ、２１ａ、２１ｂ、２１ｃ、２１ｄ …カメラ
２２、２２a、２２ｂ、２２ｃ、２２ｄ …俯瞰変換ユニット
２３ …操舵角検出部
２４ …移動距離検出部
２５ …画像処理部
２６ …画像重畳部
２７ …画像データ記憶部
２８ …ディスプレイ
２９ …画像処理用メモリ
３１ …障害物
３７、３７ａ、３７ｂ …車両周囲画像
４１ …仮想車両画像
４２ …連結部
５０ …シフト操作検出部
５１、５１ａ、５１ｂ …切換器

Claims (5)

1. 車両の進行方向を撮像する撮像手段と、
   該撮像手段で撮像された画像を俯瞰画像へ変換する俯瞰変換手段と、
   該俯瞰変換手段によって変換された俯瞰画像に基づいて、前記車両の下方の路面状況を示す周囲画像を作成する周囲画像作成手段と、
   該周囲画像作成手段により作成された周囲画像に対して、前記車両のタイヤ位置を示す仮想車両画像を重畳する車両画像重畳手段と、
   該車両画像重畳手段により前記仮想車両画像が重畳された周囲画像を表示する表示手段と
   を備えることを特徴とする車両周囲表示システム。
2. 前記周囲画像作成手段は、前記俯瞰変換手段によって変換された俯瞰画像を、前記撮像手段により撮像された順番でつなぎ合わせることによって、前記周囲画像を作成することを特徴とする請求項１に記載の車両周囲表示システム。
3. 前記車両の移動距離を検出する移動距離検出手段を備え、
   前記周囲画像作成手段は、前記移動距離検出手段により検出された移動距離に基づいて、つなぎ合わせを行う前記俯瞰画像の範囲を決定する
   ことを特徴とする請求項２に記載の車両周囲表示システム。
4. 前記車両の操舵角を検出する操舵角検出手段を備え、
   前記周囲画像作成手段は、前記操舵角検出手段により検出された操舵角に応じて前記周囲画像を回転させる
   ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の車両周囲表示システム。
5. 前記撮像手段は前記車両の進行方向に対して１台しか設置されていないことを特徴とする請求項１乃至請求項３のいずれか１項に記載の車両周囲表示システム。

Images