JP2012119755A - 運転支援表示装置 - Google Patents

Abstract

【課題】車両の後退または前進による駐車位置合わせの際に、駐車位置合わせに必要な撮像範囲を表示させつつ、車両の正しい幅の認識や車両が曲がった場合の傾き方向の事前認識、そして車両に対する被写体の方向を認識し易くする運転支援表示装置を提供する。
【解決手段】２０は車両後方の広い範囲を表示する主画面である。２１−４は自車両１の近傍を表示する子画面であり、仮想視点から真下に見下ろした視点変換画像を表示する。子画面２１−４において、下側はバンパー１３を適度に表示させ、上側は自車両１から最も遠い側の被写体が表示される関係とし、その形状は車両中心からの距離が一定の撮像範囲に近づくよう折り目なく湾曲させて表示し、左側および右側のバンパー１３付近は車幅に近い撮像範囲を表示し、自車両１から遠くなるにつれて開いた形状として車幅に対して広い撮像範囲を表示する。
【選択図】図１７

Description

本発明は、車載カメラにて撮像した車両後方または前方の画像を処理して運転者に提示する運転支援表示装置に関する。

車載カメラを車両のリアトランク部等、またはフロントグリル等に設置し、その車載カメラで撮像した画像を運転者に提示することで、車両後方または前方の様子を運転者に知らせる運転支援表示装置が普及している。

そしてその画像表示方法は、レンズの歪みを補正した画像表示や、あたかも任意の仮想視点から撮影したかのような変換画像表示など、様々である。

このような運転支援表示装置を示す例として特許文献１が挙げられる。

前記特許文献１では子画面の表示形状が単純な長方形で示されている。その子画面に表示する視点変換画像の表示範囲について２通りの処理画像の例として図１０および図１２に示す。

図１０および図１２において、２０は車両後方の広い範囲を表示する主画面であり、撮像画像から切り出し処理をした画像とする。

図１０における２１−１は、撮像画像から車両の近傍を視点変換した画像の中で、車幅に対して２倍ほどの広い範囲まで表示した子画面である。

図１２における２１−２は、撮像画像から車両の近傍を視点変換した画像の中で、駐車領域の車幅側の白線が表示される程度の範囲まで表示した子画面である。

図１０および図１２において、２２−１、２２−２はそれぞれの主画面と子画面の隙間を埋めるマスク描画であり、撮像画像はここには表示しないものとする。

次にこれらの処理画像の例について、実際に撮像された映像がどのように表示されるか、具体的な撮像条件を例にしながら説明する。

まず撮像手段である車載カメラと、車載カメラが取り付けられる自車両との位置関係を示す。

図４および図５がその例であり、図４は自車両１の後方を上から見た図であり、図５は自車両１の後方を横から見た図である。

被写体は駐車場付近を撮像する場面を例とする。

図６はその駐車場の例であり、同じ寸法の３つの駐車領域からなる白線と、左右にそれぞれ駐車された同じ寸法の隣車両を示している。１７−１および１７−２は隣車両であり、その形状を簡単にするために直方体とし、高さは１．５ｍとする。

図７は図６と自車両１との位置関係を示すもので、自車両１が中央駐車領域１６−３にこれから後退して駐車する場面である。

図７の場面の時、画像処理前の撮像画像は図９に示す画像になるものとする。この例では１台の車載カメラで広い範囲を撮像可能とするため、広角のレンズを使用しているものとし、撮像画像内にイメージサークル１９が現れている。

図９の撮像画像に対して、前記図１０を例とした表示画像は図１１のようになり、前記図１２を例とした表示画像は図１３のようになる。

図１１および図１３の主画面２０には同じ処理の画像が表示されており、図９の撮像画像の上下左右を切り取った画像としている。具体的には、下側は自車両１のバンパー１３が適度に映る程度、左側と右側の画角は約１６０°程度、上側は隣車両が適度に映る程度の撮像範囲としている。

図１１における子画面２１−１には、自車両１の近傍を仮想視点から真下に見下ろした視点変換画像が表示されており、左側および右側においては左隣車両１７−１と右隣車両１７−２とが半分程度まで表示されている。

図１３における子画面２１−２には、子画面２１−１と同様に自車両１の近傍を仮想視点から真下に見下ろした視点変換画像が表示されているが、左右においては中央駐車領域１６−３の車幅側の白線までが映る程度となっており、子画面２１−１と比べると左右が狭い撮像範囲となっている。

尚、バンパー１３側に表示されている撮像範囲と、自車両１から遠い側に表示されている撮像範囲は、子画面２１−１と子画面２１−２とで同じである。

また、車両の後部画像を表示する場合は、画像全体を左右反転処理した上で表示するのが通常であるが、撮像画像や表示画像の左右の関係を容易に説明するために全て左右反転を行わない画像を例にすることとする。従って、車載カメラ２に対する左右の関係と、表示される左右の関係は同じになるものとする。

次に図１２について駐車場付近を撮像する場面として、自車両１が曲がりながら移動する例も示す。

図８は図６の駐車場において、自車両１がＡ地点からＤ地点まで移動する例であり、Ａ地点からＢ地点までは中央駐車領域１６−３の中央に対して０．３５ｍずれた状態で直進、Ｂ地点からＣ地点までは回転半径１０ｍで中央駐車領域１６−３の中央方向に曲進、Ｃ地点からＤ地点までは回転半径１０ｍで中央駐車領域１６−３と平行方向になる逆回転方向に曲進する場面である。

この場面の時、図１２を例とした表示画像は図１８のようになる。尚、自車両１のバンパー１３は車載カメラ２と位置関係が固定されているため、常に同じ位置に表示される。

特開２００３−１０４１４５号公報

しかしながら、前記従来の特許文献１における子画面の表示形状では、４つの課題を有していた。

第１の課題は、図１１の例に示す通り子画面２１−１のように左右の表示範囲を自車両１の幅に対して広く表示させてしまった場合にある。自車両１のバンパー１３は、水平地面１４に対して高さがあるため、視点変換画像においては自車両１の実際の幅１．８ｍよりも広く中央駐車領域１６−３の幅２．５ｍ以上の幅と感じてしまうように表示されてしまう。従ってこのまま自車両１を後退させた場合、左隣車両１７−１および右隣車両１７−２に衝突してしまう印象を感じてしまう、という課題を有していた。

第２の課題は、前記第１の課題を回避するために子画面の左右の表示範囲を狭くした場合にある。子画面の左右の表示範囲を図１３の子画面２１−２のように自車両１の車幅と大きく変わらない程度に狭めることで衝突の印象は回避できる。しかし、左右の表示範囲を狭くしていることから、駐車位置合わせに有用な駐車場の白線が映らない場面が多くなる、という課題を有していた。

具体的には図１８に示す２通りがある。

１つはＡ地点からＢ地点のように、自車両１と中央駐車領域１６−３の中心がずれている場合である。この時、子画面２１−２に表示される被写体の位置から自車両１が中央駐車領域１６−３の中心からずれていることは認識できるものの、車幅側の白線の片側が表示されなくなり、どの程度のずれているのか認識しにくい。

もう１つはＣ地点のように、中央駐車領域１６−３に対して自車両１が傾いている場合である。この時、車幅側の白線の右側が途中で途切れてしまうため、映っている白線のみから傾きの度合いを判断しなければならない。

第３の課題は、この後ハンドルを切って曲がった場合に、現在表示されている画像に対して車両がどちらの傾きになるのかの事前認識が困難である点である。子画面２１−１、子画面２１−２共に単純な長方形であることから、その形状から直接想像して事前認識することはできない、という課題を有していた。

第４の課題は、車両から最も遠い側の辺の各部分が、車両に対してどちらの方向にあるのか認識し難い点である。車両から最も遠い側の辺も直線であることから、表示画像の右側や左側付近、あるいは中央付近のどこを見ても車両に対してどちらの方向にあるのか、その形状からは直接想像して認識することはできないので、表示画像の中で右側や左側付近なのか、あるいは中央付近なのかを一旦認識した上で車両に対してどの方向かを想像する必要がある、という課題を有していた。

本発明は、上記課題を解決するために、駐車位置合わせに必要な撮像範囲を表示させつつ、車両の正しい幅の認識や車両が曲がった場合の傾き方向の事前認識、そして車両に対する被写体の方向を認識し易くする子画面を有する運転支援表示装置を提供することを目的とする。

前記従来の課題を解決するため、本発明の運転支援表示装置は、車両後方または前方の広い範囲を撮像する１つまたは複数の撮像手段と、前記撮像手段で撮像された画像から車両周辺の広い範囲で切り出しまたは補正した画像を表示する主画面を生成し、前記撮像手段で撮像された画像から車両の近傍を仮想視点から真下に見下ろすように視点変換した画像で表示する子画面を生成し、前記主画面と前記子画面とを合成し、隙間をマスク描画する画像処理手段と、前記画像処理手段によって処理された画像を表示する画像表示手段とを備えることとし、前記子画面における車両の後退または前進方向に沿った２つの辺が、車両から遠くなるにつれて互いに離れるように開いた形状で表示することとした。

この構成によって、前記子画面において、車両から離れた側の表示領域は車両に近い側の表示領域と比べて広く表示させることができる。また右側の辺は車両から右に傾いた形状、左側の辺は車両から左に傾いた形状として表示させることができる。

本発明の運転支援表示装置は、前記子画面における車両から最も遠い側の辺の形状は、車両中心からの距離が一定の範囲の表示に近づくよう折り目なく湾曲させることとした。

この構成によって、車両中心よりも左側に相当する湾曲形状は左下がり、車両中心よりも右側に相当する湾曲形状は右下がり、で表示させることができる。

以上のように、本発明の運転支援表示装置によれば、前記子画面において、車両に近い側の表示領域は車幅に近い範囲に止めたまま、車両から離れた側の表示範囲を広くすることができるので、自車両の大きさを誤認することなく正しく認識でき、尚かつ車両のずれによって車両から右または左方向に離れた側の車幅側の白線を容易に表示させることができる。

また、この後ハンドルを切って曲がった場合に、現在表示されている画像に対して車両側面がどちらの傾きになるのか、前記子画面の左右の辺の傾きが車両側面の傾きと近くなることから直接想像できるようになる。

本発明の運転支援表示装置によれば、前記子画面において、この後ハンドルを切って曲がった場合に、現在表示されている画像に対して車両後部がどちらの傾きになるのか、前記子画面の湾曲部の傾きが車両後部の傾きと近くなることから直接想像できるようになる。

また、湾曲部分の右付近、左付近、あるいは中央付近のいずれかだけを注目して見ている場合においても、湾曲部分の傾き具合からだけで自車両の右方向なのか、左方向なのか、あるいは中央方向なのかを認識することができる。

本発明の実施の形態１、２における運転支援表示装置の概略構成図 本発明の実施の形態１、２における運転支援表示装置の概略構成図 本発明の実施の形態１、２における運転支援表示装置の概略構成図 自車両に対する車載カメラの詳細な搭載状態の例を示す図 自車両に対する車載カメラの詳細な搭載状態の例を示す図 被写体の例である駐車領域と周辺車両の寸法を示す図 駐車領域と自車両の位置関係の例を示す図 自車両が移動する位置関係の例を示す図 撮像画像 従来の画像処理後の表示画像 従来の画像処理後の表示画像 従来の画像処理後の表示画像 従来の画像処理後の表示画像 本発明の実施の形態１における画像処理後の表示画像 本発明の実施の形態１における画像処理後の表示画像 本発明の実施の形態２における画像処理後の表示画像 本発明の実施の形態２における画像処理後の表示画像 従来における各地点での表示画像の変化 本発明の実施の形態１における各地点での表示画像の変化 本発明の実施の形態２における各地点での表示画像の変化 本発明の実施の形態１におけるＣ地点での車両側面の予想傾き方向 本発明の実施の形態２におけるＣ地点でのバンパーの予想傾き方向

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は本発明の実施の形態１における構成図である。

図１において、１は運転支援表示装置が搭載される自車両であり、２は広い範囲を撮像する広角のレンズを使用した１つの車載カメラであり、３は車載カメラ２で撮像された画像から、自車両１周辺の広い範囲で切り出しまたは補正した画像を表示する主画面と、自車両１の近傍を仮想視点から真下に見下ろした視点変換画像で表示する子画面と、主画面と子画面の合成および隙間をマスク描画する画像処理部であり車載カメラ２に内蔵されている。４は画像処理部３によって処理された画像を表示するモニタである。

尚、画像処理部３は図２に示されるようにモニタ４に内蔵される構成や、図３に示されるように画像処理装置５に内蔵される構成の何れであっても良い。また、広角のレンズを使用しない車載カメラを使用する場合には、図３に示されるように複数の車載カメラ２−１から２−ｎを使用した構成であっても良い。

図１〜３は、車載カメラ２が車両の後方に搭載された図であるが、車両の前方に搭載しても良い。本発明の実施の形態１および２では車両後方に搭載することとする。

続いて撮像例について図４から図９を用いて説明する。

図４および図５は自車両１に対する車載カメラ２の詳細な搭載状態の例を示している。

図４は自車両１の後方を上から見た図である。１２は自車両１の左右中心であり、６は自車両１の後輪であり、７は自車両１の後輪軸であり、８は自車両左右中心１２上にある後輪軸７の左右中心であり、９は自車両左右中心１２上にある車載カメラ２のレンズ位置であり、１０は自車両左右中心１２と平行な車載カメラ２のレンズの光軸であり、１３は自車両１の後方のバンパーであり、１１は自車両左右中心１２上かつバンパー１３上にある車両最後尾である。自車両１の車幅は１．８ｍであり、後輪軸７とレンズ位置９との距離は１．０ｍであり、レンズ位置９と車両最後尾１１との距離は０．１ｍである。

図５は自車両１の後方を横から見た図である。１４は水平な地面である。レンズ位置９は水平地面１４からの高さ０．９ｍであり、光軸１０は水平地面１４とのなす角が４０°であり、車両最後尾１１は水平地面１４から高さ０．６ｍである。

図６は被写体の例である駐車領域と周辺車両の寸法を示す図である。１６−１は左側の駐車領域であり、１６−２は右側の駐車領域であり、１６−３は中央の駐車領域であり、１５は左駐車領域１６−１、右駐車領域１６−２、中央駐車領域１６−３を表すために水平地面１４に引かれた白線である。

左駐車領域１６−１、右駐車領域１６−２、中央駐車領域１６−３は全て同じ寸法であり、白線１５の白線幅の中心から前後長５．０ｍ、横幅２．５ｍである。１７−１は左駐車領域１６−１に駐車された左隣車両であり直方体とする。１７−２は右駐車領域１６−２に駐車された右隣車両であり直方体とする。

左隣車両１７−１、右隣車両１７−２は共に同じ寸法であり、車幅１．８ｍ、前後長４．７ｍ、水平地面１４からの高さ１．５ｍであり、それぞれ駐車領域の中央に駐車されている。

図７は図６に示す駐車領域と自車両１の位置関係の例を示す図である。中央駐車領域１６−３の横幅に対する中央の位置に自車両左右中心１２が位置し、車両最後尾１１は中央駐車領域１６−３の手前の白線１５から０．５ｍに位置する。

図７の位置関係の場合、車載カメラ２によって撮像された画像は図９のようになる。１８は車載カメラ２の前に立体物が無い場合に撮像される地平線であり、１９はレンズの光軸から９０°の方向までが撮像されているものとするイメージサークルである。

図８は自車両１が移動する位置関係の例を示す図である。Ａ地点から自車両１が位置合わせをしながら中央駐車領域１６−３の中央に駐車する場面の例である。

Ａ地点は、中央駐車領域１６−３の手前の白線１５から２．１ｍであり、かつ中央駐車領域１６−３の横幅に対する中央の位置から０．３５ｍ右側にずれている位置とする。Ｂ地点は、中央駐車領域１６−３の手前の白線１５から１．６ｍの位置とする。Ｃ地点は、Ｂ地点から回転半径１０ｍで中央駐車領域１６−３の横幅中央方向に曲がり、中央からのずれが半分である０．１７５ｍになる位置とする。Ｄ地点は、Ｃ地点から回転半径１０ｍでＢ地点からＣ地点までと逆方向に曲がり、中央からのずれが無くなった位置とする。

次に画像処理部３の処理について説明する。

図１４、図１５、図１９、図２１は、撮像された画像が画像処理部３によって同一処理され、モニタ４によって表示された表示画像である。通常、車両後方の撮像画像の表示は画像全体を左右反転した鏡像を表示するのが一般的であるが、本発明の実施の形態１および２では、撮像画像や表示画像の左右の関係を容易に説明するために、全て左右反転をしない画像を例にすることとする。

図１４はモニタ４の表示範囲に対する画像処理部３の処理後の画像配置を示すものである。２０は車両後方の広い範囲を表示する主画面であり、撮像画像から切り出し処理をした画像が表示される。

図１１および図１３の主画面２０には同じ処理の画像が表示されており、図９の撮像画像の上下左右を切り取った画像としている。具体的には、下側は自車両１のバンパー１３が適度に映る程度、左側と右側の画角は約１６０°程度、上側は隣車両が適度に映る程度の撮像範囲としている。

尚、本実施例では切り出し処理を表示させることとしたが、広い範囲を表示するために、補正処理をした画像を表示させても良い。

２１−３は自車両１の近傍を表示する子画面であり、仮想視点から真下に見下ろした視点変換画像が表示される。下側はバンパー１３が適度に表示される程度、左右においてバンパー１３付近は車幅に近い範囲であり、自車両１から遠くなるにつれて開いた形状として車幅に対して広く表示される。２２−３は主画面２０と子画面２１−３の隙間を埋めるマスク描画であり、撮像画像はここには表示されない。

以上の様な画像処理部３の処理にて、図９の撮像画像を処理した場合、図１５のように表示される。

子画面２１−３においてバンパー１３付近は表示されている中央駐車領域１６−３と比べてわかる通り、ほぼ車幅程度しか表示されていないことを認識できる。また自車両１から遠くなるにつれて、隣の駐車領域や車両がより多く表示されていることも認識できる。この表示範囲であれば自車両１を後退させた場合に、左隣車両１７−１および右隣車両１７−２に衝突してしまうという印象は感じない。

図１９は図８のように自車両１が移動した場合の表示画像を示したものである。

Ａ地点からＢ地点までは、これから中央駐車領域１６−３に駐車する際に直進後退して接近した場面である。この時に子画面２１−３に表示される画像は、従来例の図１８で示した例とは異なり車幅側の白線が左右両方で常に表示されているので、自車両１が中央駐車領域１６−３に対してどの程度ずれているか認識し易い。

その後運転者はＢ地点までで自車両１のずれを認識し、ハンドルを切って駐車領域の中央に曲がり始めＣ地点まで移動した時、子画面２１−３に表示される車幅側の白線は、従来例の図１８で示した例とは異なり車幅側の白線が左右両方で常に表示されている。従って、自車両１が中央駐車領域１６−３に対してどの程度曲がっているか認識し易い。

その後運転者はハンドルを逆に切って後退を行い、自車両１が中央駐車領域１６−３に対して真っ直ぐになる方向に変化していることを子画面２１−３によって確認しながらＤ地点に達することができる。

更に自車両１の傾きの予想について図２０のＣ地点を例に説明する。

Ｃ地点では、これから画像の右方向に曲がる場面である。子画面２１−３の右側の辺は自車両１の右側方向と一致して右側に傾いているため、実際に曲がって進んだ場合、自車両１の車両側面の傾きに近くなることを意味している。従って運転者は図２１の２３の通り、これから車両側面が進行先の位置でどちらの傾きになるのか、子画面２１−３の右側の傾き方向から頭の中で即座に想像することができる。

以上のように本実施の形態によれば、車両に近い側の表示領域は車幅に近い範囲に止めたまま、車両から離れた側の表示範囲を広くすることができるので、自車両の大きさを誤認することなく正しく認識でき、尚かつ車両が駐車領域の中央から多少ずれていても両側の白線を容易に表示させることができることと、車両が駐車領域に対して多少曲がっていても両側の白線が途切れなく表示させることができる。

また、この後ハンドルを切って曲がった場合に、現在表示されている画像に対して車両側面がどちらの傾きになるのか、前記子画面の左右の辺の傾きが車両側面の傾きと近くなることから直接想像できるようになる。

（実施の形態２）
図１６、図１７、図２０、図２２は、図１４、図１５、図１９、図２１の子画面における自車両１から最も遠い側の辺の形状を、車両中心からの距離が一定の範囲の表示に近づくよう折り目なく湾曲させた表示画像である。

図１６における２０は本発明の実施の形態１と同様の処理画像である主画面である。２１−４は子画面２１−３に対し、自車両１から最も遠い側の辺の形状を、車両中心からの距離が一定の範囲の表示に近づくよう折り目なく湾曲させた子画面である。２２−４は主画面２０と子画面２１−４の隙間を埋めるマスク描画であり、撮像画像はここには表示されない。

以上の様な画像処理部３の処理にて、図９の撮像画像を処理した場合、図１７のように表示され、図８のように自車両１が移動した場合は図２０のように表示される。この中で特に図２０のＣ地点について説明する。

Ｃ地点では本発明の実施の形態１でも説明した通りこれから画像の右方向に曲がる場面である。子画面２１−４の湾曲部分は車両中心からの距離が一定に近づくようになっているため、実際に曲がって進んだ場合、自車両１のバンパー１３の傾きに近くなることを意味している。従って運転者は図２２の２４の通り、これから移動する進行先の位置でバンパーがどちらの傾きになるのか湾曲部分から頭の中で即座に予想することができる。車両側面も２３の通り想像できることから、車両の傾き方向はより一層想像し易くなる。

また、それぞれの画像において、運転者が湾曲部分の右付近、左付近、あるいは中央付近のいずれかだけを注目して見ている場合においても、湾曲部分の傾き具合からだけで自車両の右方向なのか、左方向なのか、あるいは中央方向なのかを認識することができる。

以上のように本実施の形態によれば、これからハンドルを切って曲がった場合に車両がどちらの傾きになるのか、ガイド線無しでも容易に想像できることと、車両に対してどちらの方向が表示されているのかを容易に想像できる。

本発明にかかる運転支援表示装置は、微調節を行う駐車位置合わせの際に、駐車位置合わせに必要な撮像範囲を表示させつつ、車両の正しい幅の認識や車両が曲がった場合の傾き方向の事前認識、そして車両に対する被写体の方向を認識し易くすることによって、より円滑な駐車を支援する運転支援表示装置として幅広く有用である。

１ 自車両
２ 車載カメラ
２−１〜２−ｎ 車載カメラ
３ 画像処理部
４ モニタ
５ 画像処理装置
６ 後輪
７ 後輪軸
８ 後輪軸左右中心
９ レンズ位置
１０ 光軸
１１ 車両最後尾
１２ 自車両左右中心
１３ バンパー
１４ 水平地面
１５ 白線
１６−１ 左駐車領域
１６−２ 右駐車領域
１６−３ 中央駐車領域
１７−１ 左隣車両
１７−２ 右隣車両
１８ 地平線
１９ イメージサークル
２０ 主画面
２１−１，２１−２，２１−３，２１−４ 子画面
２２−１，２２−２，２２−３，２２−４ マスク描画
２３ 予想車両側面
２４ 予想バンパー

Claims (2)

1. 車両後方または前方の広い範囲を撮像する１つまたは複数の撮像手段と、
   前記撮像手段で撮像された画像から車両周辺の広い範囲で切り出しまたは補正した画像を表示する主画面を生成し、前記撮像手段で撮像された画像から車両の近傍を仮想視点から真下に見下ろすように視点変換した画像で表示する子画面を生成し、前記主画面と前記子画面とを合成し、隙間をマスク描画する画像処理手段と、
   前記画像処理手段によって処理された画像を表示する画像表示手段と
   を備えた運転支援表示装置であって、
   前記子画面における車両の後退または前進方向に沿った２つの辺が、車両から遠くなるにつれて互いに離れるように開いた形状で表示する
   ことを特徴とする運転支援表示装置。
2. 前記子画面における車両から最も遠い側の辺の形状は、車両中心からの距離が一定の撮像範囲の表示に近づくよう折り目なく湾曲させる
   ことを特徴とする請求項１に記載の運転支援表示装置。

Images