JP2009105656A - 車載用撮像装置 - Google Patents

Abstract

【課題】 車両に搭載された複数のカメラの撮影画像を合成して、車両の周囲の画像を平面的に表示し、しかも車両の外形の位置を画面から認識しやすくした「車載用撮像装置」を提供する。
【解決手段】 車両に搭載した複数のカメラの画像を合成し、自車両表示部１５０の周囲に、地面１００の画像を平面状に投影して表示する。自車両表示部１５０では、前方の領域Ａ２と後方領域Ｂ２および左側の領域Ｄ２と右側の領域Ｅ２に、車両の一部の実画像を表示する。またこれらの実画像で囲まれた部分には、車両のイラスト画像１６２を表示する。自車両表示部１５０の外周部分に車両の実画像が表示されているため、表示画面を見た操作者らは、実際の車両１の外周部分とその外側の障害物などとの位置関係を認識しやすくなる。
【選択図】図９

Description

本発明は、車両に複数のカメラが設けられ、このカメラで撮影された画像を合成して表示するものであり、特に車両とその外側の領域との境界部を認識しやすくした車載用撮像装置に関する。

以下の各特許文献には、車両に複数のカメラを搭載した車載用撮像装置が開示されている。車両に設置されたそれぞれのカメラは、魚眼レンズのように広角の空間領域の画像を集光するレンズを備えており、このレンズで集光された画像をＣＣＤなどの光検知素子で検知できるようにしている。

これら車載用撮像装置では、複数のカメラで撮影された車両の外側の領域の画像を、上方から見た投影画像となるように合成し、この合成画像に、車両のイラスト画像を組み合わせて表示している。このように表示することで、車両とその周囲領域の関係を画面上で把握しやすくしている。

しかし、車両の複数箇所に設けたカメラで車両とその外側の領域との境界部を撮影する場合に、カメラがドアミラーなどに取り付けられて車両から離れた位置にあれば、画像を合成したときに、車両とその外側の領域との境界部をほぼ正確に表示することができる。しかし、車両の前端部や後端部に設置したカメラは、前記前端部や後端部よりもやや車両の中心部側に後退した位置に設けられるために、このカメラから前方や後方を見たときに、その手前に位置する車両の一部で前方領域や後方領域の一部が隠される領域が存在する。そのため、このカメラで撮影した画像を合成しても、車両の前端部や後端部の直近に位置する領域の画像を取得することができない。

そこで、以下の特許文献３に記載された車載用撮像装置では、車両の直近の外側領域のうちの画像として取得できない領域を、死角領域または注意喚起領域として、この領域を特定の色で塗りつぶすなどの処理を行っている。
特開平３−９９９５２号公報 特開平８−３０５９９９号公報 特許第３３００３３４号公報

従来のように、車両の外側の周囲領域の合成画像と、車両のイラスト画像とを組み合わせる表示形態では、表示画面に、車両の外縁部としてイラスト画像の境界線が表示されるだけであるため、表示画面を見た操作者は、実際の車両の境界部を把握することが難しく、実際の車両の外縁部と障害物と間隔に不安を生じるおそれがある。また、表示画面に車両のイラスト画像を表示したものでは、例えば前輪の操舵角度を画像で確認することもできない。

また、特許文献３に記載のように、死角領域または注意喚起領域を特定の色で塗りつぶしてしまうと、表示画面を見た操作者にとって、塗りつぶされた部分がなにを意味しているのか、すなわち車両の一部であるのか、地面などを意味しているのかを直感で理解できなくなり、操作者らは、車両の外縁部の位置を把握するのが困難になる。

本発明は、上記従来の課題を解決するものであり、複数のカメラで撮影した画像を合成して表示するときに、表示内容を見た操作者が、実際の車両とその外側領域との境界部を直接的に把握しやすい車載用撮像装置を提供することを目的としている。

第１の本発明は、車両の複数箇所に設けられたカメラと、複数のカメラで撮影された画像を処理する画像処理部と、前記画像処理部で処理された画像を表示する表示装置とを有する車載用撮像装置において、
前記カメラは広角な空間領域の画像を集光できるレンズと、前記レンズで集光された光を検知する光検知素子とを有し、それぞれの前記カメラは、車両から離れた領域から車両の一部までを撮影範囲とする向きで、前記車両に設置されており、
前記画像処理部では、それぞれのカメラで撮影された画像を、合成して表示する変換処理が行なわれるとともに、
合成された画像において車両に近接した周囲領域の画像が得られない画像不存在部分に、その画像不存在部分に向けられているカメラで撮影された車両の一部の実画像を当てはめて表示する合成処理が行われることを特徴とするものである。

本発明の車載用撮像装置では、カメラで撮影した画像が合成されて表示されるが、カメラの斜め前方の下側で且つ車両の直近に位置している地面などの外側領域の画像は車両の一部で遮られて取得することができない。そこで、画像を合成するときに、画像が得られていない画像不存在部分に、その部分を映しているカメラで取得された車両の一部を実画像としてそのまま表示する。つまり、画像不存在部分には、車両の一部を斜めに映した画像が当てはめられる。そのために、表示画面に、何も映らない領域を設けたり、一定の色で塗りつぶした領域を設けたりするような、不自然な表示状態となるのを防止できる。また、表示画面を見た操作者らは、車両の一部の実画像を直接見ることができるために、車両とその周囲領域との関係や、車両の近くにある障害物と車両との位置関係を把握しやすくなる。

本発明は、前記画像処理部では、車両の外形を示すイラスト境界線を、合成した画像に組み合わせて表示する合成処理が行われ、
前記表示装置には、前記イラスト境界線と、前記画像不存在部分に当てはめられた車両の一部の実画像の、双方が表示されるものとして構成できる。

例えば、前記画像不存在部分に当てはめられる車両の一部の実画像は、車両の前端部の実画像と車両の後端部の実画像の少なくとも一方であり、前記イラスト境界線は、車両の右側端および左側端を示すものである。

ここで「イラスト境界線」とは、画像を上方から見た状態に投影したときに、車両とそれよりも外側の領域との境界線のみをイラストで示したものである。このイラスト境界線で囲まれた範囲の内部は、車両の形状のイラストが描かれていてもよいし、または何も描かなかったり、あるいは一定の色で塗りつぶしてもよい。

または、本発明は、前記画像処理部では、合成した画像に、車両のイラスト画像を組み合わせる合成処理が行われ、
前記表示装置には、前記車両のイラスト画像と、前記画像不存在部分に当てはめられた車両の一部の実画像の、双方が表示されるものとして構成される。

この場合も、前記画像不存在部分に当てはめられる車両の一部の実画像は、車両の前端部の実画像と車両の後端部の実画像の少なくとも一方であり、
前記表示装置には、車両の前端部と後端部の実画像の少なくとも一方とともに、車両のイラスト画像の右側端および左側端が表示される。

本発明での「車両のイラスト画像」とは、車両を上方から見たのとほぼ同じ大きさで、ほぼ同じ輪郭を持つ画像として作成されたものである。この輪郭の内側には、車両の窓やボンネットの形状を上方から見た画像が描かれている。あるいは、輪郭の内側に何も描かれておらず、一定の色で塗りつぶされていてもよい。

この場合に、前記イラスト画像での車両の色と、前記画像不存在部分に当てはめられた車両の一部の実画像の色とが、同じ色相か、または同系の色相であることが好ましい。

または、本発明は、前記画像不存在部分に向けられている前記カメラの他に、車両とその外側の周囲領域との境界部を撮影できる他のカメラが設けられており、
前記表示装置には、前記他のカメラで撮影された前記境界部の実画像と、前記画像不存在部分に当てはめられた車両の一部の実画像の、双方が表示される。

そして、前記表示装置では、前記他のカメラで撮影された境界部の実画像と、前記画像不存在部分に当てはめられた車両の一部の実画像とで、車両の全周が表示されている。

この場合に、前記他のカメラで撮影された境界部の実画像は、車両の右側端と左側端を示すものであり、前記画像不存在部分に当てはめられる車両の一部の実画像は、車両の前端部の実画像と後端部の実画像を示すものである。

例えば、前記他のカメラは、ドアミラーに取り付けられて、車両から離れた位置にあり、その結果、車両とその外側領域の地面などとの境界部を上方から直接に撮影できるものである。

上記のように、車両の全周にカメラで撮影された実画像が存在していると、表示画面を見たときに、実際の車両とその周囲領域との関係を直接的な画像として把握できるようになる。

また、上記手段では、前記他のカメラで撮影された境界部の実画像には、前輪の画像が含まれ、表示装置に、前輪の操舵方向が表示可能である。

第２の本発明は、車両の複数箇所に設けられたカメラと、複数のカメラで撮影された画像を処理する画像処理部と、前記画像処理部で処理された画像を表示する表示装置とを有する車載用撮像装置において、
前記カメラは広角な空間領域の画像を集光できるレンズと、前記レンズで集光された光を検知する光検知素子とを有し、それぞれの前記カメラは、車両から離れた領域から車両の一部までを撮影範囲とする向きで、前記車両に設置されており、
前記画像処理部では、それぞれのカメラで撮影された画像のうちの、車両よりも外側の周囲領域の画像を合成して表示するとともに、合成した周囲領域の画像に、車両のイラスト画像を組み合わせて表示する合成処理が行われ、
合成された周囲領域の画像と前記イラスト画像との境界部の少なくとも一部に、いずれかのカメラで撮影された車両の一部の実画像を当てはめて表示する合成処理が行われることを特徴とするものである。

第２の本発明では、表示画面に車両のイラスト画像と、周囲領域の画像とを一緒に表示することで、車両の輪郭を把握できる。そして、車両と周囲領域との境界部分の少なくとも一部に車両の実画像を当てはめているため、車両の一部とその周囲の障害物などの位置関係を直接的に把握できるようになる。

例えば、前記車両の一部の実画像は、車両の前端部および後端部の少なくとも一方である。また、前記車両の一部の実画像は、車両の右側端と左側端の少なくとも一方である。

第２の本発明では、前記車両の一部の実画像には、前輪の画像が含まれ、表示装置に、前輪の操舵方向が表示可能である。

この場合も、前記車両のイラスト画像での車両の色と、車両の一部の実画像の色とが、同じ色相か、または同系の色相であることが好ましい。

第１の本発明の車載用の撮像装置では、上方から見た状態に投影された合成画像において、車両に直近する周囲領域で且つカメラで取得できない画像不存在部分が発生しているときに、この部分にカメラで撮影された車両の一部の実画像を当てはめている。そのため、画像不存在部分に何も表示されないとか、車両やその外側領域の景色と全く無関係な塗りつぶし部が生じるような不自然な表示状態となるのを防止でき、車両とその外側の領域を自然な状態で表示できる。また、画像不存在部分に車両の一部の実画像が存在しているため、この実画像の車両と地面上の障害物などとの位置関係を直接的に把握しやすくなる。

第２の本発明の車載用の撮像装置では、合成された画像と、車両のイラスト画像とが表示されるものであって、車両のイラスト画像の少なくとも一部に車両の実画像を当てはめて表示している。よって、実画像の部分で、車両の外側に位置する障害物などと車両との位置関係を把握しやすくなる。

図１は車両でのカメラの配置を示す左側面図、図２はその平面図、図３はその正面図である。図４は、本発明の車載用撮像装置の実施の形態を示すブロック図である。図５は前カメラの光検知素子で受光した実画像、図６は後カメラの光検知素子で受光した実画像、図７は、左カメラの光検知素子で受光した実画像をそれぞれ示す説明図である。図８と図９は、表示装置の画面の表示内容の一例を示す説明図である。

図１ないし図３には、自動車の車両１が示されているが、この車両１の図形は、表示装置の表示画面に表示される画像を意味しているのではなく、実際の自動車の車両を意味している。

車両１には、前端部２に前バンパー３が設けられ、後端部４に後バンパー５が設けられている。車両１の両側部には前輪７，７と後輪８，８が設けられている。車両１の両側部では、前輪７，７と後輪８，８との中間で且つ前輪７に寄った位置の上方に、ドアミラー６，６が設けられている。

車両１の前端部２に前カメラ２１が設置されている。前カメラ２１は車両１の前端部２において、車両の幅寸法の中心に位置している。図１と図２に示すように、前カメラ２１は、車両１の最前端である前バンパー３の前端部３ａよりもやや後方に位置している。車両１の後端部４には後カメラ２２が設置されている。後カメラ２２は車両１の後端部４において、車両の幅寸法の中心に位置している。図１と図２に示すように、後カメラ２２は、車両１の最後端である後バンパー５の後端部５ａよりもやや前方に位置している。

左側のドアミラー６には、左カメラ２３が取り付けられており、右側のドアミラー６には右カメラ２４が取り付けられている。図２に示すように、左カメラ２３は、車両１の左側面１１より左方へ離れた位置にあり、右カメラ２４は、車両１の右側面１２よりも右方へ離れた位置にある。

それぞれのカメラ２１，２２，２３，２４は、魚眼レンズと、魚眼レンズで集光された光を検知する複数の検知点を有する光検知素子（撮像素子）とを有している。光検知素子は、ＣＣＤまたはＣＭＯＳである。

魚眼レンズは、複数枚のレンズが組み合わされて構成されている。魚眼レンズを使用したカメラ２１，２２，２３，２４の光検知素子で検知できる画角は広角であり、その画角は１５０度から１８０度の範囲または１５０度から１９０度の範囲程度にすることが可能である。

前カメラ２１は、光軸が前方に向けられているとともに、光軸が地面１００に向けて水平よりもやや下向きに傾斜するように設置されている。同様に、後カメラも、光軸が後方に向けられているとともに、光軸が地面１００に向けて水平よりもやや下向きに傾斜するように設置されている。

図１では、前カメラ２１の縦方向の画角がα１で示され、画角α１の視野の限界がＹ１で示されている。図２には、前カメラ２１で撮影可能な地面１００の横方向の視野の限界Ｘ１が示されている。この限界Ｘ１は、縦方向での画角の限界Ｙ１と地面１００との交線に相当している。この限界Ｙ１の横方向の画角はβ１である。

同様に、図１には、後カメラ２２の縦方向の画角がα２で示され、画角α２の視野の限界がＹ２で示されている。図２には、後カメラ２２で撮影可能な地面１００の横方向の視野の限界Ｘ２が示されている。この限界Ｘ２は、縦方向での画角の限界Ｙ２と地面１００との交線に相当している。この限界Ｙ２の横方向の画角はβ２である。

図３に示すように、左カメラ２３と右カメラ２４の光軸は、それぞれ右方向と左方向に向けられているが、それぞれの光軸は水平線に対して下向きに傾いて地面１００に向くように設定されている。

図３には、左カメラ２３と右カメラ２４のそれぞれの縦方向の画角がα３で示されているとともに、この画角α３の視野の限界がＹ３で示されている。また、図２では、左カメラ２３と右カメラ２４で撮影可能な地面１００の横方向の視野の限界Ｘ３が示されている。この限界Ｘ３は、縦方向の限界Ｙ３と地面１００との交線に相当している。前記限界Ｘ３の横方向の画角はβ３である。前述のように、それぞれの画角α１，β１，α２，β２，α３，β３の最大値は、魚眼レンズの仕様にもよるが、１８０度程度であり、または１９０度やそれ以上の角度とすることも可能である。

図５は、前カメラ２１の魚眼レンズで集光されて、複数の受光画素が平面的に配列したＣＣＤなどの光検知素子で撮影された実画像１２１を示している。この実画像１２１には、画角α１とβ１の範囲で、車両１の前方の景色が映されている。ただし、図１に示すように、前カメラ２１のレンズが、前バンパー３の前端部３ａよりも後方に位置しているために、前端部３ａに直近の地面１００やその他の障害物などのように近接した周囲領域の画像は、その手前に位置する前バンパー３で隠されて取得することができない。

図１では、前端部３ａよりも前方の領域で且つ前カメラ２１で取得できない領域をＡ１で示している。図２では、車両１の上方から地面に垂直な視線で下向きに見たときに、前カメラ２１で取得できない前記領域を、破線を付してＡ１で示している。前記Ａ１が、前方の画像不存在部分である。

ただし、図５に示す実画像１２１では、前記画像不存在部分Ａ１を斜め手前側から隠している車両１の一部である前バンパー３が映っている。

図６は、後カメラ２２の魚眼レンズで集光されてＣＣＤなどの光検知素子で撮影された実画像１２２を示している。この実画像１２２には、前記画角α２，β２の範囲で、車両１の後方の景色が映されている。図１に示すように、後カメラ２２のレンズは、後バンパー５の後端部５ａよりもやや前方に配置されているため、後カメラ２２で撮影される地面１００やその他の障害物などのうちの、後バンパー５の後端部５ａの直近の領域の画像を取得することができない。図１ではこの領域をＢ１で示し、図２でも破線を付した領域としてＢ１で示している。このＢ１の領域が、後方の画像不存在部分である。この画像不存在部分Ｂ１は、図２に示すように、全ての領域を地面１００と垂直な視野で上方から見たときに本来は見えるはずの画像である。

ただし、図６に示す実画像では、前記画像不存在部分Ｂ１よりも手前側から画像不存在部分Ｂ１を隠している後バンパー５の一部が映っている。

図６の実画像１２２では、車両１の後方において、地面１００に印された白線９１，９１と、車両１の左側面１１よりもさらに左側に離れた位置で、地面１００に印された側方の白線９２が歪んで映っている。また、車両１の真後ろに位置する他の自動車９３の画像と、車両１の左斜め後方に位置する他の自動車９４の画像も歪んで映っている。

図７は、左カメラ２３の魚眼レンズで集光されてＣＣＤなどの光検知素子で撮像された実画像を示している。この映像の画角はα３とβ３の範囲である。図３に示すように、左カメラ２３は、ドアミラー６に設置されて、車両１の左側面１１から離れた位置にあり、且つレンズの光軸は、水平面よりもやや地面１００に向く斜め下向きに設定されている。そのため、実画像１２３には、車両１の左側面１１の下方部分の画像が前後方向の全域にわたって映っており、さらに、前輪７と後輪８も映っている。図３に示す画角の限界Ｙ３からも明らかなように、図７に示す実画像１２３では、車両１と地面１００との境界部、すなわち前輪７と地面１００との接触部および後輪８と地面１００との接触部が明確に映っている。

図７に示す実画像１２３では、図１と図２に示す前方の画像不存在部分Ａ１や後方の画像不存在部分Ｂ１のように、車両１の直近に位置する地面１００の画像が欠落する領域が存在していない。

また、図７に示す実画像１２３には、図６にも示されている車両１の左側方において地面１００に記された側方の白線９２と、車両１の左斜め後方に位置する他の自動車９４の画像が映っている。

図では省略しているが、右カメラ２４で映された画像は、図７の画像と近似しており、車両１の右側面１２の下方部分および、前輪７と後輪８が映されている。すなわち、車両１の右側面１２と地面１００との境界部である前輪７と地面１００との接触部および後輪８と地面１００との接触部も映されている。

図４は、各カメラで撮像した画像を処理して表示するための回路構成を示すブロック図である。

前カメラ２１のＣＣＤなどの光検知素子で検知された画像は画像メモリ３１ａに与えられて保持される。同様に、後カメラ２２、左カメラ２３および右カメラ２４のそれぞれの光検知素子で検知された画像は、画像メモリ３１ｂ、画像メモリ３１ｃおよび画像メモリ３１ｄに与えられて保持される。

それぞれのカメラ２１，２２，２３，２４の光検知素子で検知された画像信号は、それぞれの画像メモリ３１ａ，３１ｂ，３１ｃ，３１ｄから、各画素毎の画素データとして、画像処理部３２に与えられる。画像処理部３２には表示メモリ３３が併設されており、リアルタイムで変化していく映像の各画素データが表示メモリ３３に保持された後に画像処理部３２で画像処理されていく。画像処理部３２と表示メモリ３３は、制御部３４によって制御される。制御部３４は、ＣＰＵを主体とするものであり、前記画像処理部３２を制御するとともに、表示ドライバ３５を制御する。画像処理部３２で処理されて得られた画像データは、表示ドライバ３５に送られ、車内に設けられた液晶表示パネルなどの表示パネル３６に画像が表示される。

それぞれのカメラ２１，２２，２３，２４に使用されている魚眼レンズの一般的な射影モデルは、等距離射影であり、像高をｒａとし焦点距離をｆとしたときに、ｒａ＝ｆ・θｉである。その他の魚眼レンズの射影モデルは、等立体角射影が、ｒａ＝２ｆ・ｓｉｎ（θｉ／２）であり、正射影が、ｒａ＝ｆ・ｓｉｎθｉである。

カメラに設けられたＣＣＤなどの平面状の光検知素子を撮像面とし、この撮像面の中心から垂直に延びる軸を光軸としたときに、魚眼レンズの射影モデルが分かれば、撮像面に結像している画像点の基となる空間点が、光軸に対してどの天頂角を有する線上に位置し、また光軸回りのどの方位角の位置に有るかを知ることができる。

したがって、カメラの設置位置と光軸の向きを知ることができれば、カメラの魚眼レンズの射影モデルに基づいて、図５ないし図７に示すそれぞれの画像のうちのどの部分をどの方向へどれだけ拡大すれば、その画像を地面１００と平行な平面画像上に投影できるかを計算できる。すなわち、それぞれの画像メモリ３１ａ，３１ｂ，３１ｃ，３１ｄに保持されている画素データは、一度表示メモリ３３で保持された後に、画像処理部３２に与えられ、画像処理部３２では、それぞれの画素データの座標位置に応じて拡大処理または縮小処理がなされ、それぞれの画素データが、地面１００と平行な平面画像のそれぞれの位置に当てはめられて、平面的に投影された画像が合成される。

図２に示すように、車両１の両側の左斜め前方では、前カメラ２１で取得した画像と、左カメラ２３で取得した画像とで重複する部分があり、右斜め前方では、前カメラ２１で取得した画像と、右カメラ２４で取得した画像とで重複する部分がある。同様に、車両１の左斜め後方には、後カメラ２２で取得した画像と、左カメラ２３で取得した画像とで重複する部分がある。図６に示す後カメラ２２の実画像１２２と、図７に示す左カメラ２３の実画像では、自動車９４の画像と白線９２の画像が、重複部分である。また、車両１の右斜め後方では、後カメラ２２の画像と、右カメラ２４の画像とで重複する部分がある。

画像処理部３２では、２つのカメラの画像が重複する部分において、予め決められたいずれか一方のカメラからの画像が使用される。この場合、図５ないし図７に示すように光検知素子で検知された実画像のうち、縮小度が低い方の画像を優先して使用することが、表示画像の品質を高める上で望ましい。

上記のように、画像処理部３２では、それぞれの画像メモリ３１ａ，３１ｂ，３１ｄ，３１ｅから得られる各画素のデータを合成することで、車両１の周囲にある地面１００と平行な平面座標上に投影された画像が合成される。制御部３４の制御動作に基づき、画像処理部３２で合成された平面画像が時間経過とともに順番に表示ドライバ３５に送られて、動画の表示データが生成される。この表示データに基づいて、表示パネル３６の表示画面に合成画像が表示される。表示画面では、合成画像が、時間の経過にしたがって順次変化していく動画として表示される。

図８は、液晶表示パネルなどの表示パネル３６の表示画面に表示される画像の一例を示す部分拡大図である。各カメラで取得された図５ないし図７に示す実画像のうちの車両の周囲領域の画像である地面１００の画像が、画像処理部３２で処理されて、平面座標上に投影された画像に変換される。そして、表示画面には、主に自車両表示部５０の周囲に存在している地面１００が平面画像として表示される。

図８に示すように、地面１００と平行な平面座標に投影した画像を生成することにより、表示画面では、車両１の後方に、地面１００に印された白線９１，９１がほぼ平行に延びて表示され、車両１の後方には、自動車９３の平面画像が表示される。また、図７に示す左カメラ２３で取得された実画像の白線９２が、自車両表示部５０の左側方において前後方向に直線的に延びるように表示される。また、図６の実画像１２２と図７の実画像とから、自車両表示部５０の斜め後方に自動車９４の画像が表示される。

自動車９３と自動車９４の形状は、図６の実画像１２２と図７の実画像１２３とから得られる画像を合成することで、またはいずれか一方の実画像を使用することで、図８の平面的に投影された画像内においてやや斜めに傾いた形状で表示される。

図８に示すように、自車両表示部５０には、イラスト境界線６１が表示される。このイラスト境界線６１の描画データは、図４に示す画像処理部３２に設けられた図示しないメモリに記憶されている。図８に示すように、表示画面に地面１００の画像がリアルタイムに表示されているときに、地面１００の画像内において車両１が存在している箇所を自車両表示部５０として推定し、その推定位置にイラスト境界線６１を作画する。

図７に示すように、左カメラ２３で取得した実画像１２３では、車両１の左側面１１と地面１００との境界部の画像が直接に得られる。よって、画像処理部３２では、図７に示す実画像１２３を平面画像に投影するときに、図８の表示画面内において、車両１の左側面１１と地面１００との境界線がどの位置にあるかの情報を知ることができる。この情報に基づいて、イラスト境界線６１の左側部６１ａの描画位置を決めれば、この左側部６１ａを、実際の車両１の左側面１１と地面１００との境界線とほぼ同じ位置に対応させて表示できる。同様に、右カメラ２４で取得した情報から、イラスト境界線６１の右側部６１ｂの描画位置を決めることができる。

イラスト境界線６１の前端部６１ｃと後端部６１ｄは、左側部６１ａおよび右側部６１ｂの描画位置の情報と、さらに車両１の大きさの情報から描画することができる。よって、イラスト境界線６１の前端部６１ｃは、実際の車両１の前バンパー３の前端部３ａにほぼ対応する位置に描かれ、イラスト境界線６１の後端部６１ｄは、実際の車両１の後バンパー５の後端部５ａにほぼ対応する位置に描かれる。

車両１の外形状に対応しているイラスト境界線６１で囲まれた領域の内部は、イラスト境界線６１の線の画像以外に何の画像も存在していなくてもよい。または、イラスト境界線６１に囲まれている領域内が白色やその他の色で一面が同色に塗りつぶされて表示されてもよい。

または、図８に示すように、イラスト境界線６１で囲まれている領域内に、窓やボンネットの画像を描画することで、イラスト境界線６１で囲まれた領域を、車両１を上方から平面視した車両と同等のイラスト画像６２として表示できる。

イラスト境界線６１を、車両１の外形線に対応して描画すると、図１および図２に示される前方の画像不存在部分Ａ１がイラスト境界線６１の前端部６１ｃよりも前方のＡ２の領域に位置するが、この領域Ａ２には、地面１００の画像を表示することはできない。

そこで、図８に示す表示例では、前記領域Ａ２に、図５に示す実画像１２１で撮影された車両１の一部である前バンパー３の実画像を合成している。ただし、図５に示す実画像１２１は魚眼レンズで集光した像で全体が歪んでいる。よって、実画像１２１を平面座標として投影するときに、前バンパー３の実画像が平面座標上で平面状に延びる画像となるように変換し、実画像１２１内の前バンパー３を、実際のバンパーを上方から見たのと同じ平面視の形状に投影して表示する。このとき、前バンパー３の実画像を、図８に示されているイラスト境界線６１と同じ縮尺度で表示し、これをイラスト境界線６１の前端部６１ｃの前方に合成する。その結果、表示画面では、前方の画像不存在部分Ａ１に、平面状に展開された前バンパー３の実画像が表示される。

図８の表示画像において、イラスト境界線６１の前端部６１ｃの前方に合成される前バンパー３の実画像は、図１にように、前カメラ２１の位置から斜め前方下向きの矢印Ｌａの視線で見た前バンパー３の画像を平面状に変換して表示したものである。

同様に、図１と図２に示すように、車両１の後バンパー５の後端部５ａの直ぐ外側の画像不存在部分Ｂ１は、図８に示す表示画像において、イラスト境界線６１の後端部６１ｄの後方の領域Ｂ２に対応している。そこで、この領域Ｂ２には、図６に示した後バンパー５の実画像を当てはめている。後カメラ２２で撮影した実画像１２２では、後バンパー５が歪んで映されているため、画像処理部３２において、実画像１２２内の後バンパー５の実画像を平面座標上で平面的に映すように投影し、さらに後バンパー５の実画像を、図８に示すイラスト境界線６１と同じ縮尺度として前記領域Ｂ２に当てはめて表示している。

その結果、図８に示すイラスト境界線６１の後端部６１ｄよりも後方に、地図画像が存在していない領域を無くすことができ、この領域に、平面形状が実際の車両と同等となるように変換された後バンパー５の実画像が表示される。この後バンパー５の実画像は、図１に示す後カメラ２２から斜め後方下向きの矢印Ｌｂの視線で後バンパー５を見た画像を平面状に展開した画像である。

図８に示す表示画像では、画面内において実際の車両１に相当する位置に描かれたイラスト境界線６１の前端部６１ｃの前方に画像不存在部分Ａ１が存在しておらず、後端部６１ｄの後方にも画像不存在部分Ｂ１が存在していない。そのため、イラスト境界線６１の前端部６１ｃの前方と、後端部６１ｄの後方に、何の画像も存在していない領域や、車両とは全く異なる単一色などで塗られた表示領域を設ける必要がない。よって、操作者らが、前端部６１ｃの前方と後端部６１ｄの後方で表示が途切れることによる不安を解消できる。

また、図８の状態から車両１が後退走行していくときに、後方に位置する障害物である自動車９３の画像と、領域Ｂ２に表示されている後バンパー５の実画像とを画面で確認することができる。車両１の後バンパー５の実画像と後方の自動車の画像との距離を実写として比較することで、車両と障害物とが当たる危険性を大幅に低減できる。

図８に示す領域Ａ２は、実際の車両１の大きさの画像よりもやや前方へ突出し、領域Ｂ２は、実際の車両１の大きさの画像よりもやや後方へ突出している。そのため、実際の車両と障害物との間隔に、さらに安全距離を付加でき、安全性を高めることができる。

なお、図８に示す画像では、イラスト境界線６１の前端部６１ｃよりも前方の領域Ａ２および後端部６１ｄよりも後方の領域Ｂ２に、車両１の一部の実画像が表示されるため、イラスト境界線６１の内部の色彩の少なくとも一部を、車両１の色彩と同じ色相または同系の色相とすることで、図８に表示されているイラスト境界線６１で囲まれた車両のイラスト画像６２と、領域Ａ２，Ｂ２内の表示との一体感を実現できる。

図９は、表示パネル３６の表示画面での第２の表示例を示す説明図である。
図９に示す表示例では、表示画面に、車両１の周囲の景色の画像が平面座標上に投影して表示されている。車両１よりも外側の周辺領域の表示は図８と同じである。ただし、図９では、自車両表示部１５０の表示形態が、図８に示す表示例での自車両表示部５０の表示形態と相違している。

図９に示す表示例では、自車両表示部１５０の前方と後方に、図８に示した自車両表示部５０と同じ領域Ａ２と領域Ｂ２が設けられている。領域Ａ２には、図５に示す実画像１２１内の前バンパー３の実画像が、実際の車両１を平面視したのと同等となるように、平面画像に投影できるように変換されて当てはめられ、領域Ｂ２には、図６に示す実画像１２２の後バンパー５の実画像が、平面座標上に投影されて当てはめられている。

よって、図８の表示例と同様に、前方の画像不存在部分Ａ１が前バンパー３の実画像で埋められ、後方の画像不存在部分Ｂ１が後バンパー５の実画像で埋められている。

さらに、図９に示す自車両表示部１５０では、左側の領域Ｄ２に、図７に示す実画像１２３で得られている車両１の左側面１１の画像および、前輪７と後輪８の画像が当てはめられている。このときも、図７に示す実画像１２３を地面１００と平行な平面座標上の画像として投影するのと同じ変換処理により、車両１の左側面１１の画像が、実際の車両と同様に前後に延びるように投影される。

図３に示すように、左カメラ２３はドアミラー６に取り付けられて車両１の左側面１１から離れた位置にある。よって、図７に示す実画像１２３の歪みを修正して、左側面１１を実際の車両１と同様に前後に延びる画像となるように投影すると、その画像は、あたかも図３において左カメラ２３の位置から内方へ斜めに向く矢印Ｌｄに沿う視線で左側面１１を見た画像となる。

図９に示すように、領域Ｄ２では、車両１の左側面１１の実画像と、さらには前輪７と後輪８の実画像が表示される。また、車両１の左側と地面１００との境界部、すなわち前輪７と地面１００との接触部および後輪８と地面１００との接触部を画面において正確な位置で表示することができる。

また、図９に示す自車両表示部１５０の右側の領域Ｅ２には、右カメラ２４から得られた実画像のうちの、車両１の右側面１２の画像と前輪７および後輪８の画像が、実画像として表示される。この画像は、図３において右カメラ２４から矢印Ｌｅで示す向きの視線で右側面１２を見た画像に相当している。右側の領域Ｅ２においても、前輪７と地面１００との当接部および後輪８と地面１００との当接部の位置を正確に表示できる。

図９に示す自車両表示部１５０は、その全周が車両の一部の実画像で囲まれている。よって、自車両表示部１５０の内部は、何の画像も存在しないものであってもよいし、または黒や白あるいは任意の一色で塗りつぶしてもよい。または、図９に示すように、実画像で囲まれた内部に、窓やボンネットの形状を明らかにした車両のイラスト画像１６２を表示してもよい。この場合、イラスト画像１６２で示される車両の色彩は、領域Ａ２，Ｂ２，Ｄ２，Ｅ２に表示されている車両１の色彩と同じ色相または同系の色相とすることが好ましい。

図９に示す表示例では、図８と同様に、前方の領域Ａ２と後方の領域Ｂ２に、画像不存在部分Ａ１，Ｂ１が形成されず、前バンパー３と後バンパー５の実画像が表示されるために、車両１の前端と後端の位置を画面上で認識しやすい。

さらに、自車両表示部１５０の領域Ｄ２に、車両１の左側面１１と前輪７および後輪８の実画像が表示され、領域Ｅ２に、車両１の右側面１２と前輪７および後輪８の実画像が表示されているため、走行中の車両１の左右両側部とその周囲の障害物などとの関係を実感として正確に把握しやすくなる。

特に、前輪７，７の回転状態を画像で表示でき、さらに車両１の左側面１１や右側面１２に映る景色の移動速度も画面に表示できるため、車両１の走行感覚を画面から認識しやすくなる。また細い道を走るときなど、前輪７の操舵角度を画像で認識できるため、右や左に大きく操舵した前輪７が障害物に当たるか否か、または溝に接近しているか否かを画面で把握できるようになり、安全な走行を実現しやすい。

なお、本発明では、図９に示す自車両表示部１５０において、Ａ２とＢ２の領域に前バンパー３や後バンパー５の実画像を表示せず、例えばこの部分にイラスト画像などを表示し、領域Ｄ２と領域Ｅ２の少なくとも一方、好ましくは両方に、車両の一部と前輪７および後輪８を表示してもよい。

領域Ｄ２と領域Ｅ２の表示を行うことにより、周囲に地面１００の画像を平面状態に表示し、且つ前輪７と後輪８を図３に示す矢印Ｌｄ，Ｌｅの視線でやや斜めに表示するができ、平坦な道路内での車輪の走行状態を表示することが可能である。

なお、図８と図９の表示例において、前記領域Ａ２と領域Ｂ２のいずれか一方のみに、車両の実画像を表示し、他方の領域にイラスト画像などを表示してもよい。

また、領域Ａ２，Ｂ２，Ｄ２，Ｅ２に表示される実画像は、リアルタイムに変化するものが好ましいが、画像メモリなどの都合で、実際の時刻よりもずれた時刻で表示されるものであってもよい。

本発明の実施の形態の車載用撮像装置を装備した車両の側面図、 本発明の実施の形態の車載用撮像装置を装備した車両の平面図、 本発明の実施の形態の車載用撮像装置を装備した車両の正面図、 車載用撮像装置の回路ブロック図、 前カメラで撮影した実画像の説明図、 後カメラで撮影した実画像の説明図、 左カメラで撮影した実画像の説明図、 表示画面での表示例を示す説明図、 表示画面での他の表示例を示す説明図、

符号の説明

１ 車両
２ 前端部
３ 前バンパー
３ａ 前バンパーの前端部
４ 後端部
５ 後バンパー
５ａ 後バンパーの後端部
６ ドアミラー
７ 前輪
８ 後輪
１１ 左側面
１２ 右側面
２１ 前カメラ
２２ 後カメラ
２３ 左カメラ
２４ 右カメラ
３１ａ，３１ｂ，３１ｃ，３１ｄ 画像検出部
３２ 画像処理部
３３ メモリ
３４ 制御部
３５ 表示ドライバ
３６ 表示パネル
５０，１５０ 自車両表示部
６１ イラスト境界線
６２，１６２ 車両のイラスト画像
１２１，１２２，１２３ 実画像
Ａ１ 前方の画像不存在部分
Ｂ１ 後方の画像不存在部分
Ａ２，Ｂ２，Ｄ２，Ｅ２ 実画像を合成する領域

Claims (15)

1. 車両の複数箇所に設けられたカメラと、複数のカメラで撮影された画像を処理する画像処理部と、前記画像処理部で処理された画像を表示する表示装置とを有する車載用撮像装置において、
   前記カメラは広角な空間領域の画像を集光できるレンズと、前記レンズで集光された光を検知する光検知素子とを有し、それぞれの前記カメラは、車両から離れた領域から車両の一部までを撮影範囲とする向きで、前記車両に設置されており、
   前記画像処理部では、それぞれのカメラで撮影された画像を、合成して表示する変換処理が行なわれるとともに、
   合成された画像において車両に近接した周囲領域の画像が得られない画像不存在部分に、その画像不存在部分に向けられているカメラで撮影された車両の一部の実画像を当てはめて表示する合成処理が行われることを特徴とする車載用撮像装置。
2. 前記画像処理部では、車両の外形を示すイラスト境界線を、合成した画像に組み合わせて表示する合成処理が行われ、
   前記表示装置には、前記イラスト境界線と、前記画像不存在部分に当てはめられた車両の一部の実画像の、双方が表示される請求項１記載の車載用撮像装置。
3. 前記画像不存在部分に当てはめられる車両の一部の実画像は、車両の前端部の実画像と車両の後端部の実画像の少なくとも一方であり、前記イラスト境界線は、車両の右側端および左側端を示すものである請求項２記載の車載用撮像装置。
4. 前記画像処理部では、合成した画像に、車両のイラスト画像を組み合わせる合成処理が行われ、
   前記表示装置には、前記車両のイラスト画像と、前記画像不存在部分に当てはめられた車両の一部の実画像の、双方が表示される請求項１記載の車載用撮像装置。
5. 前記画像不存在部分に当てはめられる車両の一部の実画像は、車両の前端部の実画像と車両の後端部の実画像の少なくとも一方であり、
   前記表示装置には、車両の前端部と後端部の実画像の少なくとも一方とともに、車両のイラスト画像の右側端および左側端が表示される請求項４記載の車載用撮像装置。
6. 前記イラスト画像での車両の色と、前記画像不存在部分に当てはめられた車両の一部の実画像の色とが、同じ色相か、または同系の色相である請求項４または５記載の車載用撮像装置。
7. 前記画像不存在部分に向けられている前記カメラの他に、車両とその外側の周囲領域との境界部を撮影できる他のカメラが設けられており、
   前記表示装置には、前記他のカメラで撮影された前記境界部の実画像と、前記画像不存在部分に当てはめられた車両の一部の実画像の、双方が表示される請求項１記載の車載用撮像装置。
8. 前記表示装置では、前記他のカメラで撮影された境界部の実画像と、前記画像不存在部分に当てはめられた車両の一部の実画像とで、車両の全周が表示されている請求項７記載の車載用撮像装置。
9. 前記他のカメラで撮影された境界部の実画像は、車両の右側端と左側端を示すものであり、
   前記画像不存在部分に当てはめられる車両の一部の実画像は、車両の前端部の実画像と後端部の実画像を示すものである請求項７または８記載の車載用撮像装置。
10. 前記他のカメラで撮影された境界部の実画像には、前輪の画像が含まれ、表示装置に、前輪の操舵方向が表示可能である請求項９記載の車載用撮像装置。
11. 車両の複数箇所に設けられたカメラと、複数のカメラで撮影された画像を処理する画像処理部と、前記画像処理部で処理された画像を表示する表示装置とを有する車載用撮像装置において、
    前記カメラは広角な空間領域の画像を集光できるレンズと、前記レンズで集光された光を検知する光検知素子とを有し、それぞれの前記カメラは、車両から離れた領域から車両の一部までを撮影範囲とする向きで、前記車両に設置されており、
    前記画像処理部では、それぞれのカメラで撮影された画像のうちの、車両よりも外側の周囲領域の画像を合成して表示するとともに、合成した周囲領域の画像に、車両のイラスト画像を組み合わせて表示する合成処理が行われ、
    合成された周囲領域の画像と前記イラスト画像との境界部の少なくとも一部に、いずれかのカメラで撮影された車両の一部の実画像を当てはめて表示する合成処理が行われることを特徴とする車載用撮像装置。
12. 前記車両の一部の実画像は、車両の前端部および後端部の少なくとも一方である請求項１１記載の車載用撮像装置。
13. 前記車両の一部の実画像は、車両の右側端と左側端の少なくとも一方である請求項１１記載の車載用撮像装置。
14. 前記車両の一部の実画像には、前輪の画像が含まれ、表示装置に、前輪の操舵方向が表示可能である請求項１３記載の車載用撮像装置。
15. 前記車両のイラスト画像での車両の色と、車両の一部の実画像の色とが、同じ色相か、または同系の色相である請求項１１ないし１４のいずれかに記載の車載用撮像装置。

Images