JP2012170127A - 車両用周辺監視装置および映像表示方法 - Google Patents

Abstract

【課題】車両後方および車両後側方の比較的広い領域の映像を表示しながら、特に注意を要する車両後方の映像に関しては車両運転者が正しい距離感で映像を把握できるようにする。
【解決手段】映像表示手段の横方向中央に位置する比較的広い中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズで後方映像ＰＢを表示するとともに、中央表示領域Ｄ１の外側に位置する外側表示領域Ｄ２，Ｄ３に、右後側方映像ＰＲと左後側方映像ＰＬとを後方映像ＰＢよりも圧縮した映像として表示する。
【選択図】図５

Description

本発明は、車両後方および車両後側方の映像を表示して車両運転者に提示する車両用周辺監視装置および映像表示方法に関する。

従来、自動車のルームミラーやドアミラーの死角となる領域の視界を確保しつつ、少ない視線移動で車両後方や車両後側方の状況を車両運転者が的確に把握できるようにするために、車両後方や車両後側方の映像を車載カメラで撮影して、車両内部に設置したディスプレイに表示させることが提案されている（例えば、特許文献１参照。）。

特許文献１には、車両後端部に設置した後方カメラと車両の左右ドアミラーに設置した２台の側方カメラとを用いて、車両後方の映像と車両後側方の映像とをそれぞれ撮影し、これらの映像を横方向に並べて車両内部の１つのディスプレイに表示させるようにした車両用周辺監視装置が記載されている。

特開２００３−８１０１４号公報

ところで、この種の車両用周辺監視装置では、周辺監視の目的からは車両後方および車両後側方のできるだけ広い領域の映像を表示できるようにすることが望まれる。しかしながら、車両内部のディスプレイは表示領域の大きさが限られており、このディスプレイに車両後方および車両後側方の広い領域の映像を並べて表示するには、その分、表示する映像サイズを小さくする必要がある。このため、例えば、車両後方の映像として後続車両を映した映像をディスプレイ上で表示したときに、この後続車両が、ルームミラーで確認する場合と比べて小さく表示され、車両運転者がこの後続車両との距離感を正しく認識できずに実際よりも遠くに存在するものと誤って認識してしまう場合がある。

本発明は、以上のような従来技術の問題点を解消すべく創案されたものであって、車両後方および車両後側方の比較的広い領域の映像を表示しながら、特に注意を要する車両後方の映像に関しては車両運転者が正しい距離感で映像を把握できるようにした車両用周辺監視装置および映像表示方法を提供することを目的としている。

本発明は、車両内部の映像表示手段の横方向中央に位置する表示領域に映像撮影手段で撮影された車両後方の映像を表示するとともに、映像表示手段の横方向の両端側に位置する表示領域に、映像撮影手段で撮影された車両後側方の映像を車両後方の映像よりも圧縮して表示することで、上述した課題を解決する。

本発明によれば、車両後側方の映像を車両後方の映像よりも圧縮して表示するので、映像表示手段の表示領域のうちで、車両後方の映像を表示する領域を大きく取ることができ、映像表示手段の限られた表示領域の中で広い範囲の映像を効率よく表示することができるとともに、車両後方の映像に関しては車両運転者が正しい距離感で映像を把握できるように表示することができる。

ルームミラーおよび左右のドアミラーにより確認できる車両後方および車両後側方の領域を表した模式図である。 車両内部の映像表示手段（ディスプレイ）の表示領域の一例を示す図である。 映像表示手段（ディスプレイ）の表示領域のサイズに合わせた映像サイズで後方映像ＰＢと右後側方映像ＰＲと左後側方映像ＰＬとを１つの広角映像として撮影した場合の映像例を示す図である。 車両後方の様子をルームミラーで確認した場合のミラー反射像を示す図である。 本発明を適用した車両用周辺監視装置において、映像表示手段（ディスプレイ）に表示される映像の一表示例を示す図である。 映像表示手段（ディスプレイ）に表示される映像の他の表示例を示す図である。 映像表示手段（ディスプレイ）に表示される映像のさらに他の表示例を示す図である。 映像表示手段（ディスプレイ）に表示される映像のさらに他の表示例を示す図である。 第１実施形態の車両用周辺監視装置の構成を示すブロック図である。 第１実施形態の車両用周辺監視装置が備える映像撮影手段（車載カメラ）の配置例を示す図である。 第２実施形態の車両用周辺監視装置の構成を示すブロック図である。 第２実施形態の車両用周辺監視装置が備える映像撮影手段（車載カメラ）の配置例を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

本発明は、車載カメラ（映像撮影手段）で撮影された車両後方および車両後側方の映像を車両内部に設置されたディスプレイ（映像表示手段）に表示する構成の車両用周辺監視装置に適用される。まず、本発明を適用した車両用周辺監視装置の具体的な実施形態の説明に先立ち、ディスプレイに表示する車両後方の映像（以下、後方映像ＰＢという。）と、車両後側方の映像（以下、車両の右側の後側方の映像を右後側方映像ＰＲ、車両の左側の後側方の映像を左後側方映像ＰＬという。）との関係、および、これら後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬを表示するディスプレイの表示領域の構成について、図１乃至図８を参照して説明する。

図１は、本発明を適用した車両用周辺監視装置が搭載される車両（以下、自車両Ｖという。）の運転者が自車両Ｖのルームミラーおよび左右のドアミラーにより確認できる車両後方および車両後側方の領域を表した模式図である。図１中のＡ１で示す領域がルームミラーで確認できる範囲の領域、図１中のＡ２で示す領域が右側のドアミラーで確認できる範囲の領域、図１中のＡ３で示す領域が左側のドアミラーで確認できる範囲の領域である。なお、車両後方および車両後側方の領域をルームミラーおよび左右のドアミラーで確認する場合、実際には車体構造物の陰となって確認できない死角領域が発生するが、ここではこのような死角領域は無視して説明する。また、実際には、ルームミラーおよび左右のドアミラーにより確認できる範囲の領域Ａ１，Ａ２，Ａ３は、ルームミラーや左右のドアミラーの角度と運転者の眼の位置（アイポイント）によって変動するが、ここでは平均的な位置で固定されているものと仮定して説明する。

本発明を適用した車両用周辺監視装置において、ディスプレイに表示する後方映像ＰＢとは、車両の前後軸を車両後方に伸ばした延長線を中心とした所定範囲の領域を映した映像をいい、例えば、自車両Ｖの運転者がルームミラーにより確認できる範囲の車両後方の領域Ａ１の映像をいう。つまり、この後方映像ＰＢは、図１に示すように、自車両Ｖが走行している車線と同じ車線を走行する後続車両Ｖ１や、自車両Ｖよりも約２０ｍ以上後方の隣接車線を走行する後続車両Ｖ２などを確認できる映像である。

また、右後側方映像ＰＲとは、以上のような後方映像ＰＢの対象となる車両後方の領域に隣接した右隣りの領域を映した映像をいい、少なくとも自車両Ｖの運転者が右側ドアミラーにより確認できる範囲の車両右後側方の領域Ａ２を含む領域の映像をいう。つまり、この右後側方映像ＰＲは、図１に示すように、自車両Ｖが走行している車線の右隣りの隣接車線上を自車両Ｖに比較的近い位置で走行している後続車両Ｖ３を確認できる映像である。

また、左後側方映像ＰＬとは、以上のような後方映像ＰＢの対象となる車両後方の領域に隣接した左隣りの領域を映した映像をいい、少なくとも自車両Ｖの運転者が左側ドアミラーにより確認できる範囲の車両左後側方の領域Ａ３を含む領域の映像をいう。つまり、この左後側方映像ＰＬは、図１に示すように、自車両Ｖが走行している車線の左隣りの隣接車線上を自車両Ｖに比較的近い位置で走行している後続車両Ｖ４を確認できる映像である。

なお、後方映像ＰＢの対象となる車両後方の領域は、必ずしも自車両Ｖの運転者がルームミラーにより確認できる範囲の車両後方の領域Ａ１に完全に一致していなくてもよく、領域Ａ１よりも大きめ、あるいは小さめに設定されていてもよい。この場合にも、右後側方映像ＰＲは、後方映像ＰＢとして映す領域の右隣りに隣接した領域の映像となり、左後側方映像ＰＬは、後方映像ＰＢとして映す領域の左隣りに隣接した領域の映像となる。また、右後側方映像ＰＢや左後側方映像ＰＬの映像範囲となる領域の大きさは、少なくとも領域Ａ２，Ａ３を含む大きさに設定すればよいが、右後側方映像ＰＢや左後側方映像ＰＬは、後述するように後方映像ＰＢよりも圧縮してディスプレイに表示するので、この圧縮によって視認性が極端に悪化しない程度の大きさに設定することが望ましい。

ここで、自車両Ｖが走行している車線の自車両Ｖから２ｍ程度後方を後続車両Ｖ１が走行している場合を例に挙げて、後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをディスプレイに表示する手法の概要を説明する。

図２は、ディスプレイの表示領域の一例を示す図であり、図３は、ディスプレイの表示領域のサイズに合わせた映像サイズで後方映像ＰＢと右後側方映像ＰＲと左後側方映像ＰＬとを１つの広角映像として撮影した場合の映像例、図４は、車両後方の様子をルームミラーで確認した場合のミラー反射像である。

自車両Ｖの２ｍ程度後方を後続車両Ｖ１が走行している場合、自車両Ｖの運転者がルームミラーにより車両後方の様子を確認すると、ルームミラーのミラー反射像では、図４に示すように、後続車両Ｖ１が比較的大きなサイズで確認される。このルームミラーのミラー反射像は運転者が普段から見慣れており、このミラー反射像の中の後続車両Ｖ１のサイズから、運転者は後続車両Ｖ１までのおおよその距離を感覚的に認識できる。一方、車両後方および車両後側方の広い領域を、図２に示すディスプレイの表示領域のサイズに合わせて自車両Ｖの後部に設置した車載カメラで広角映像として撮影すると、図３に示すように、その広角映像の中では後続車両Ｖ１が小さなサイズで確認される。この広角映像をそのままディスプレイに表示したのでは、自車両Ｖの運転者が普段から見慣れているルームミラーで後続車両Ｖ１を確認した場合と比べて映像中の後続車両Ｖ１が小さくなりすぎるために、運転者がこの後続車両Ｖ１との距離感を正しく認識できずに、実際よりも遠くに存在するものと誤って認識してしまう。

そこで、本発明を適用した車両用周辺監視装置では、ルームミラーで確認される自車両Ｖの後方を映像範囲とする後方映像ＰＢについては、ルームミラーによるミラー反射像に近い映像表現でディスプレイに表示する。具体的には、例えば、後方映像ＰＢをルームミラーのミラー反射像に対応した映像サイズに変換する。そして、図２に示すように、ディスプレイの横方向中央に比較的広い範囲の表示領域（以下、中央表示領域Ｄ１という。）を取り、このディスプレイの中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズに変換した後方映像ＰＢを表示する。ここで、ルームミラーのミラー反射像に対応した映像サイズとは、必ずしもミラー反射像と一致した大きさの映像サイズを意味するものではなく、ルームミラーのミラー反射像から得られる距離感覚に近い距離感覚が得られる程度の映像サイズであればよい。図２に示した広角映像を用いる場合、この広角映像の中から後方映像ＰＢに相当する映像部分を切り出して、これをルームミラーのミラー反射像から得られる距離感覚に近い距離感覚が得られる大きさの映像サイズに拡大した上で、ディスプレイの中央表示領域Ｄ１に表示する。

また、ディスプレイの限られた表示領域の中で後方映像ＰＢのほかに右後側方映像ＰＲと左後側方映像ＰＬも表示できるようにするために、右後側方映像ＰＲと左後側方映像ＰＬについては、後方映像ＰＢよりも圧縮した映像として、ディスプレイの中央表示領域Ｄ１の外側（横方向の両端側）に位置する表示領域（以下、外側表示領域Ｄ２，Ｄ３という。）に表示する。

ここで、ディスプレイに表示する映像をルームミラーや左右のドアミラーのミラー反射像に合わせた映像表現とする場合は、車載カメラの撮影映像を左右反転して使用する。つまり、ルームミラーや左右のドアミラーのミラー反射像は、車載カメラの撮影方向で見た場合（運転者が車両後方を振り返って見た場合に相当）と比べると、左右反転した映像となる。したがって、車載カメラで撮影された映像を左右反転してミラー反射像に合わせ、ディスプレイの中央表示領域Ｄ１に後方映像ＰＢ、中央表示領域Ｄ１よりも右側に位置する外側表示領域Ｄ２に右後側方映像ＰＲ、中央表示領域Ｄ１よりも左側に位置する外側表示領域Ｄ３に左後側方映像ＰＬをそれぞれ表示する。なお、ディスプレイに表示する映像を車載カメラの撮影方向に合わせた映像表現とする場合には、車載カメラで撮影された映像を左右反転せずに、右後側方映像ＰＲを左側の外側表示領域Ｄ３に表示し、左後側方映像ＰＬを右側の外側表示領域Ｄ２に表示すればよい。

本発明を適用した車両用周辺監視装置による映像表示例を図５に示す。本発明を適用した車両用周辺監視装置では、以上のように、ディスプレイの中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズで後方映像ＰＢを表示するとともに、ディスプレイの外側表示領域Ｄ２，Ｄ３に、右後側方映像ＰＲと左後側方映像ＰＬとを後方映像ＰＢよりも圧縮して表示する。これにより、図５に示すように、ディスプレイの限られた表示領域の中で、広い範囲の映像を効率よく表示することができるとともに、後方映像ＰＢに関しては車両運転者が正しい距離感で映像を把握できるように表示することが可能となる。

なお、図５に示した表示例は、右後側方映像ＰＲと左後側方映像ＰＬを横方向のみに圧縮した例であるが、右後側方映像ＰＲと左後側方映像ＰＬの圧縮は横方向と縦方向の双方で行うようにしてもよい。この場合には、図６に示すように、右後側方映像ＰＲと左後側方映像ＰＬの歪みを抑えて映像としての違和感を低減できる。また、右後側方映像ＰＲおよび左後側方映像ＰＬの横方向の圧縮は、一定の圧縮率で行うようにしてもよいが、後方映像ＰＢに隣接する内側から外側に向かって徐々に圧縮率が高くなるようにすれば、後方映像ＰＢとの間で映像としての連続性もある程度確保することが可能となる。

また、ディスプレイの中央表示領域Ｄ１の縦横比がルームミラーの縦横比と異なり、中央表示領域Ｄ１の横方向サイズに対して縦方向サイズが大きい場合、例えば図７に示すように、中央表示領域Ｄ１に表示する後方映像ＰＢ上にルームミラーの形状に対応した枠図形Ｆを重畳するなどの手法で、ルームミラーによるミラー反射像に相当する映像範囲を運転者に認識させるようにすることも有効である。これにより、後方映像ＰＢから得られる距離感覚をルームミラーのミラー反射像から得られる距離間隔により近づけることができる。

また、以上説明した例では、後方映像ＰＢをルームミラーのミラー反射像に対応した映像サイズとすることで、ルームミラーによるミラー反射像に近い映像表現を実現しているが、後方映像ＰＢを表示するディスプレイの中央表示領域Ｄ１のサイズがルームミラーのサイズと大きく異なる場合には、例えば図８に示すように、ルームミラーによるミラー反射像に相当する映像範囲のみをルームミラーと同じ縦横比で中央表示領域Ｄ１のサイズに合わせて変換して中央表示領域Ｄ１に表示することで、ルームミラーによるミラー反射像に近い映像表現を実現するようにしてもよい。この場合にも、右後側方映像ＰＲおよび左後側方映像ＰＬについては、後方映像ＰＢよりも圧縮して外側表示領域Ｄ２，Ｄ３に表示することで、広い範囲の映像を効率よく表示することが可能となる。

次に、本発明を適用した車両用周辺監視装置の具体的な実施形態として、３台の車載カメラを備える車両用周辺監視装置に対して本発明を適用した例（第１実施形態）と、単一の車載カメラを備える車両用周辺監視装置に対して本発明を適用した例（第２実施形態）とについて、具体的に説明する。

［第１実施形態］
図９は、第１実施形態の車両用周辺監視装置の構成を示すブロック図であり、図１０は、第１実施形態の車両用周辺監視装置が備える車載カメラの配置例を示す図である。第１実施形態の車両用周辺監視装置は、車両後方および車両後側方の映像を撮影する映像撮影手段として、自車両Ｖの後部に設置されたリアカメラ（後方カメラ）１と、自車両Ｖの右側部に設置された右サイドカメラ（側方カメラ）２と、自車両Ｖの左側部に設置された左サイドカメラ（側方カメラ）３の３台の車載カメラを備えている。また、この車両用周辺監視装置は、これら３台の車載カメラ１，２，３の撮影映像から表示用の映像を生成する映像処理ユニット１０と、中央表示領域Ｄ１およびその左右の外側表示領域Ｄ２，Ｄ３を有し、映像処理ユニット１０で生成された表示用映像を表示するディスプレイ（映像表示手段）４とを備えている。

リアカメラ１は、例えばルーフスポイラーなどの車両後部の所定位置に設置されている。このリアカメラ１では、例えば図１０中Ｂ１で示す自車両Ｖの後方の比較的広い領域（以下、この領域を後方撮影領域Ｂ１という。）の映像を撮影することが可能とされている。上述した後方映像ＰＢの映像範囲となる領域Ａ１は、このリアカメラ１の撮影対象となる後方撮影領域Ｂ１の一部である。つまり、後方映像ＰＢは、このリアカメラ１の撮影映像からその一部を切り出すことで得られる映像である。

また、右サイドカメラ２は、例えば右側ドアミラーなどの車両右側部の所定位置に設置されている。この右サイドカメラ２では、例えば図１０中Ｂ２で示す自車両Ｖの右側方から自車両Ｖ後方にかけての比較的広い領域（以下、この領域を右側撮影領域Ｂ２という。）の映像を撮影することが可能とされている。上述した右後側方映像ＰＲの映像範囲となる領域は、この右サイドカメラ２の撮影対象となる右側撮影領域Ｂ２の一部である。つまり、右後側方映像ＰＲは、この右サイドカメラ２の撮影映像からその一部を切り出すことで得られる映像である。

また、左サイドカメラ３は、例えば左側ドアミラーなどの車両左側部の所定位置に設置されている。この左サイドカメラ３では、例えば図１０中Ｂ３で示す自車両Ｖの左側方から自車両Ｖ後方にかけての比較的広い領域（以下、この領域を左側撮影領域Ｂ３という。）の映像を撮影することが可能とされている。上述した左後側方映像ＰＬの映像範囲となる領域は、この左サイドカメラ３の撮影対象となる左側撮影領域Ｂ３の一部である。つまり、左後側方映像ＰＬは、この左サイドカメラ３の撮影映像からその一部を切り出すことで得られる映像である。

これら３台の車載カメラ１，２，３は、それぞれ、レンズおよび受光素子で構成される光学系を持ち、レンズを通して入射される光をＣＣＤやＣＭＯＳなどの受光素子で受光して電気信号に変換し、撮影した映像を画素ごとに数値化した映像信号として出力する。これら３台の車載カメラ１，２，３から出力された映像信号は、映像処理ユニット１０に入力される。

映像処理ユニット１０は、３台の車載カメラ１，２，３からの映像信号を処理してディスプレイ４に表示する表示用映像を生成するものであり、図９に示すように、映像入力部１１と、第１映像変換部１２と、第２映像変換部１３と、映像合成・出力部１４とを備えて構成される。

映像入力部１１は、３台の車載カメラ１，２，３で撮影された映像をそれぞれ入力するものであり、ＲＡＭにより構成される３つの入力映像フレームメモリ２１，２２，２３を備えている。入力映像フレームメモリ２１はリアカメラ１に対応したフレームメモリ、入力映像フレームメモリ２２は右サイドカメラ２に対応したフレームメモリ、入力映像フレームメモリ２３は左サイドカメラ３に対応したフレームメモリである。リアカメラ１、右サイドカメラ２、左サイドカメラ３で撮影された映像は、それぞれ入力映像フレームのサイズに合わせてデジタル化され、フレーム単位で入力映像フレームメモリ２１，２２，２３に各々格納される。

第１映像変換部１２は、リアカメラ１で撮影された後方撮影領域Ｂ１の映像から後方映像ＰＢとなる映像部分を切り出して、これを自車両Ｖの運転者がルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換するものであり、演算部２４と、後方映像フレームメモリ２５とを備えている。

第１映像変換部１２の演算部２４は、映像入力部１１の入力映像フレームメモリ２１にフレーム単位で格納されたリアカメラ１の撮影映像のピクセルデータを、定義テーブルに従って後方映像フレームメモリ２５の各ピクセルに再配置することで、リアカメラ１の撮影映像から後方映像ＰＢを生成する。ここで、後方映像ＰＢはリアカメラ１の撮影映像の一部を切り出した映像であるため、車両運転者が自車両Ｖのルームミラーで視認する車両後方のミラー反射像に比べて、映像サイズが小さくなっている場合が多い。このような場合には、リアカメラ１の撮影映像から切り出した映像を、ルームミラーによるミラー反射像に対応した映像サイズにまで拡大する。

このようなリアカメラ１の撮影映像と後方映像ＰＢとの関係は定義テーブルに記載されている。つまり、定義テーブルは、後方映像フレームメモリ２５に格納する各ピクセルが、入力映像フレームメモリ２１の座標系（カメラ座標系）のどの場所に対応するかの対応関係を規定している。ここで、後方映像フレームメモリ２５の各ピクセルが対応する入力映像フレームメモリ２１の座標系での場所は必ずしも整数値ではなく、映像サイズを拡大する場合にはピクセルとピクセルの間である実数値をとる場合がある。この場合は、例えばニアレストネイバ法やバイリニア法、バイキュービック法などの既知の映像補間方法によりピクセルの補間を行う。

第２映像変換部１３は、右サイドカメラ２で撮影された右側撮影領域Ｂ２の映像から右後側方映像ＰＲとなる映像部分を切り出すとともに、左サイドカメラ３で撮影された左側撮影領域Ｂ３の映像から左後側方映像ＰＬとなる映像部分を切り出して、これら切り出した映像を後方映像ＰＢよりも圧縮した映像に変換するものであり、右後側方映像ＰＲに対応した演算部２６と右後側方映像フレームメモリ２７、左後側方映像ＰＬに対応した演算部２８と左後側方映像フレームメモリ２９を備えている。

右後側方映像ＰＲに対応した演算部２６は、映像入力部１１の入力映像フレームメモリ２２にフレーム単位で格納された右サイドカメラ２の撮影映像のピクセルデータを、定義テーブルに従って右後側方映像フレームメモリ２７の各ピクセルに再配置することで、右サイドカメラ２の撮影映像から右後側方映像ＰＲを生成する。このとき、右後側方映像ＰＲは、後方映像ＰＢと比較して、少なくとも横方向に圧縮された映像とする。この映像の圧縮は、右後側方映像フレームメモリ２７の各ピクセルと入力映像フレームメモリ２２の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。

また、左後側方映像ＰＬに対応した演算部２８は、映像入力部１１の入力映像フレームメモリ２３にフレーム単位で格納された左サイドカメラ３の撮影映像のピクセルデータを、定義テーブルに従って左後側方映像フレームメモリ２９の各ピクセルに再配置することで、左サイドカメラ３の撮影映像から右後側方映像ＰＬを生成する。このとき、左後側方映像ＰＬも右後側方画像ＰＲと同様に、後方映像ＰＢと比較して、少なくとも横方向に圧縮された映像とする。この映像の圧縮は、左後側方映像フレームメモリ２９の各ピクセルと入力映像フレームメモリ２３の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。

映像合成・出力部１４は、第１映像変換部１２で生成された後方映像ＰＢと、第２映像変換部１３で生成された右後側方映像ＰＲおよび左後側方映像ＰＬとを合成し、１つの表示用映像としてディスプレイ４に出力するものであり、演算部３０と、出力映像フレームメモリ３１とを備えている。

映像合成・出力部１４の演算部３０は、第１映像変換部１２の後方映像フレームメモリ２５に格納された後方映像ＰＢのピクセルデータと、第２映像変換部１３の右後側方映像フレームメモリ２７に格納された右後側方映像ＰＲのピクセルデータと、第２映像変換部１３の左後側方映像フレームメモリ２９に格納された左後側方映像ＰＬのピクセルデータとを、映像合成定義テーブルに従って出力映像フレームメモリ３１に再配置することで、これら後方映像ＰＢと右後側方映像ＰＲと左後側方映像ＰＬとを合成した１つの表示用映像を生成する。映像合成定義テーブルは、ディスプレイ４の表示領域のレイアウト、すなわちディスプレイ４の中央表示領域Ｄ１および外側表示領域Ｄ２，Ｄ３に対応する出力映像フレームメモリ３１の各ピクセルが、後方映像フレームメモリ２５、右後側方映像フレームメモリ２７、左後側方映像フレームメモリ２９のどのフレームメモリのどの場所に対応するかの対応関係を規定している。この映像合成定義テーブルに従ったピクセルの再配置により、後方映像ＰＢの左右両側に右後側方映像ＰＲと左後側方映像ＰＬとが並んだ表示用映像が生成され、出力映像フレームメモリ３１に格納される。

映像合成・出力部１４の出力映像フレームメモリ３１に格納された表示用映像の映像データは、ディスプレイ４に随時出力される。これにより、ディスプレイ４には、図５に例示したように、後方映像ＰＢの左右両側に右後側方映像ＰＲと左後側方映像ＰＬとが並んだ表示用映像が表示される。つまり、ディスプレイ４の横方向中央に位置する中央表示領域Ｄ１には、後方映像ＰＢがルームミラーのミラー反射像に対応する映像サイズで表示され、横方向の両端側に位置する外側表示領域Ｄ２，Ｄ３には、右後側方映像ＰＲと左後側方映像ＰＬとがそれぞれ後方映像ＰＢよりも圧縮された映像として表示される。

なお、図６に示したように、右後側方映像ＰＲおよび左後側方映像ＰＬを横方向と縦方向との双方で圧縮した映像として表示する場合には、映像処理ユニット１０の第２映像変換部１３の演算部２６，２８が使用する定義テーブルを変更して、入力映像フレームメモリ２２，２３のピクセルデータを右後側方映像フレームメモリ２７、左後側方映像フレームメモリ２９に再配置する際に、ピクセルデータの間引きが映像の縦方向に対しても行われるようにすればよい。

また、図７に示したように、後方映像ＰＢにルームミラーの形状に対応した枠図形Ｆを重畳して表示する場合には、映像合成・出力部１４の演算部３１が出力映像フレームメモリ３１に表示用映像の映像データを格納した際に、後方映像ＰＢ上でルームミラーの視野範囲の境界となる位置に対して、予め記憶させておいたルームミラーの形状に対応した枠図形Ｆを重畳するようにすればよい。

また、図８に示したように、後方映像ＰＢをルームミラーと同じ縦横比で表示する場合には、第１映像変換部１２の演算部２４が使用する定義テーブルを変更して、ルームミラーのミラー反射像に相当する映像範囲のピクセルデータのみが入力映像フレームメモリ２１から取り出されて、後方映像フレームメモリ２５に再配置されるようにすればよい。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用周辺監視装置によれば、ディスプレイ４の横方向中央に位置する比較的広い中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズで後方映像ＰＢが表示され、中央表示領域Ｄ１の外側に位置する外側表示領域Ｄ２，Ｄ３に右後側方映像ＰＲと左後側方映像ＰＬとが後方映像ＰＢよりも圧縮した映像として表示されるので、ディスプレイ４の限られた表示領域の中で自車両Ｖの後方および後側方の広い範囲の映像を効率よく表示することができるとともに、自車両Ｖの後方の後方映像ＰＢに関しては、自車両Ｖの運転者が正しい距離感で映像を把握できるように表示することができる。

［第２実施形態］
図１１は、第２実施形態の車両用周辺監視装置の構成を示すブロック図であり、図１２は、第２実施形態の車両用周辺監視装置が備える車載カメラの配置例を示す図である。第２実施形態の車両用周辺監視装置では、自車両Ｖの後部に設置された単一の車載カメラ（広角リアカメラ４１）により車両後方および車両後側方の映像を撮影する。また、表示用の映像を生成する映像処理ユニット１０は、映像入力部１１に、入力映像フレームメモリ２１，２２，２３に代えて、広角リアカメラ４１に対応した入力映像フレームメモリ４２が設けられている。その他の構成は上述した第１実施形態と同様であるので、以下、第１実施形態と同様の構成については同一の符号を用いて説明する。

広角リアカメラ４１は、第１実施形態で説明したリアカメラ１と同様に、例えばルーフスポイラーなどの車両後部の所定位置に設置されている。この広角リアカメラ４１では、例えば図１２中Ｃ１で示す自車両Ｖの後方および後側方の広い領域（以下、この領域を広角撮影領域Ｃ１という。）の広角映像を撮影することが可能とされている。上述した後方映像ＰＢの映像範囲となる領域Ａ１と、右後側方映像ＰＲおよび左後側方映像ＰＬの映像範囲となる領域Ａ２，Ａ３は、この広角リアカメラ４１の撮影対象となる広角撮影領域Ｃ１の一部である。つまり、後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬは、この広角リアカメラ４１の撮影映像からその一部を切り出すことで得られる映像である。

この広角リアカメラ４１は、レンズおよび受光素子で構成される光学系を持ち、レンズを通して入射される光をＣＣＤやＣＭＯＳなどの受光素子で受光して電気信号に変換し、撮影した映像を画素ごとに数値化した映像信号として出力する。この広角リアカメラ１で撮影された映像はデジタル化され、フレーム単位で映像処理ユニット１０の映像入力部１１に設けられた入力映像フレームメモリ４２に格納される。

映像処理ユニット１０の第１映像変換部１２は、第１実施形態で説明した第１映像変換部１２と同様に、演算部２４と後方映像フレームメモリ２５とを備え、広角リアカメラ４１で撮影されて入力映像フレームメモリ４２に格納された広角撮影領域Ｃ１の映像から後方映像ＰＢとなる映像部分を切り出して、これを自車両Ｖの運転者がルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換する。第１映像変換部１２の演算部２４による処理は、広角リアカメラ４１で撮影された広角撮影領域Ｃ１の映像から後方映像ＰＢとなる映像部分を切り出すようにしている以外は、上述した第１実施形態と同様であるので、詳細な説明を省略する。

第２映像変換部１３は、第１実施形態で説明した第２映像変換部１３と同様に、演算部２６，２８と、右後側方映像フレームメモリ２７と、左後側方映像フレームメモリ２９とを備え、広角リアカメラ４１で撮影されて入力映像フレームメモリ４２に格納された広角撮影領域Ｃ１の映像から右後側方映像ＰＲとなる映像部分と左後側方映像ＰＬとなる映像部分とを切り出して、これら切り出した映像を後方映像ＰＢよりも圧縮した映像に変換する。第２映像変換部１２の演算部２６，２８による処理は、広角リアカメラ４１で撮影された広角撮影領域Ｃ１の映像から右後側方映像ＰＲとなる映像部分および左後側方映像ＰＬとなる映像部分を切り出すようにしている以外は、上述した第１実施形態と同様であるので、詳細な説明を省略する。

映像合成・出力部１４は、第１実施形態で説明した映像合成・出力部１４と同様に、演算部３０と出力映像フレームメモリ３１とを備え、第１映像変換部１２で生成された後方映像ＰＢと、第２映像変換部１３で生成された右後側方映像ＰＲおよび左後側方映像ＰＬとを合成し、１つの表示用映像としてディスプレイ４に出力する。これにより、ディスプレイ４には、図５に例示したように、後方映像ＰＢの左右両側に右後側方映像ＰＲと左後側方映像ＰＬとが並んだ表示用映像が表示される。つまり、ディスプレイ４の横方向中央に位置する中央表示領域Ｄ１には、後方映像ＰＢがルームミラーのミラー反射像に対応する映像サイズで表示され、横方向の両端側に位置する外側表示領域Ｄ２，Ｄ３には、右後側方映像ＰＲと左後側方映像ＰＬとがそれぞれ後方映像ＰＢよりも圧縮された映像として表示される。

なお、図６に示したように、右後側方映像ＰＲおよび左後側方映像ＰＬを横方向と縦方向との双方で圧縮した映像として表示する場合には、第１の実施形態と同様に、映像処理ユニット１０の第２映像変換部１３の演算部２６，２８が使用する定義テーブルを変更して、入力映像フレームメモリ２２，２３のピクセルデータを右後側方映像フレームメモリ２７、左後側方映像フレームメモリ２９に再配置する際に、ピクセルデータの間引きが映像の縦方向に対しても行われるようにすればよい。

また、図７に示したように、後方映像ＰＢにルームミラーの形状に対応した枠図形を重畳して表示する場合には、第１の実施形態と同様に、映像合成・出力部１４の演算部３１が出力映像フレームメモリ３１に表示用映像の映像データを格納した際に、後方映像ＰＢ上でルームミラーの視野範囲の境界となる位置に対して、予め記憶させておいたルームミラーの形状に対応した枠図形を重畳するようにすればよい。

また、図８に示したように、後方映像ＰＢをルームミラーと同じ縦横比で表示する場合には、第１の実施形態と同様に、第１映像変換部１２の演算部２４が使用する定義テーブルを変更して、ルームミラーのミラー反射像に相当する映像範囲のピクセルデータのみが入力映像フレームメモリ２１から取り出されて、後方映像フレームメモリ２５に再配置されるようにすればよい。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用周辺監視装置によれば、ディスプレイ４の横方向中央に位置する比較的広い中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズで後方映像ＰＢが表示され、中央表示領域Ｄ１の外側に位置する外側表示領域Ｄ２，Ｄ３に右後側方映像ＰＲと左後側方映像ＰＬとが後方映像ＰＢよりも圧縮した映像として表示されるので、ディスプレイ４の限られた表示領域の中で自車両Ｖの後方および後側方の広い範囲の映像を効率よく表示することができるとともに、自車両Ｖの後方の後方映像ＰＢに関しては、自車両Ｖの運転者が正しい距離感で映像を把握できるように表示することができる。

以上、本発明を適用した車両用周辺監視装置の具体例として第１および第２の実施形態を例示して説明したが、以上の各実施形態は本発明の一適用例であり、本発明の技術的範囲が以上の各実施形態で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の各実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。

例えば、以上の各実施形態では、映像撮影手段である車載カメラ１，２，３あるいは広角リアカメラ４１で撮影した映像を映像処理ユニット１０で処理することによって後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをそれぞれ生成するようにしているが、映像撮影手段側で後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをそれぞれ生成し、映像処理ユニット１０ではこれらを単純に合成して表示用映像を生成するといった変形も可能である。例えば、第１実施形態の構成の場合には、３つの車載カメラ１，２，３にそれぞれズーム機能を持たせて、各車載カメラ１，２，３ごとに個別にズーム調整を行うことで、後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをそれぞれ生成することも可能である。また、第２実施形態の構成の場合には、広角リアカメラ４１の撮影映像を３つの領域に分け、各領域ごとに映像の拡大、圧縮の処理を広角リアカメラ４１の内部処理として実行することで、後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをそれぞれ生成することも可能である。

１ リアカメラ
２ 右サイドカメラ
３ 左サイドカメラ
４ ディスプレイ
１０ 映像処理ユニット
１２ 第１映像変換部
１３ 第２映像変換部
１４ 映像合成・出力部
４１ 広角リアカメラ
Ｄ１ 中央表示領域
Ｄ２，Ｄ３ 外側表示領域
ＰＢ 後方映像
ＰＲ 右後側方映像
ＰＬ 左後側方映像

Claims (10)

1. 映像撮影手段で撮影された車両後方および車両後側方の映像を車両内部の映像表示手段に表示する車両用周辺監視装置であって、
   前記映像表示手段の横方向中央に位置する表示領域に前記車両後方の映像を表示するとともに、前記映像表示手段の横方向の両端側に位置する表示領域に、前記車両後側方の映像を前記車両後方の映像よりも圧縮して表示することを特徴とする車両用周辺監視装置。
2. 車両後方および車両後側方の映像を撮影する映像撮影手段と、
   前記映像撮影手段により撮影された車両後方の映像と車両後側方の映像とをそれぞれ変換処理する映像処理手段と、
   横方向中央に位置する中央表示領域と、横方向の両端側に位置する外側表示領域とを有し、前記中央表示領域に前記映像処理手段で変換された車両後方の映像を表示するとともに、前記外側表示領域に、前記映像処理手段で前記車両後方の映像よりも圧縮された映像に変換された前記車両後側方の映像を表示する映像表示手段と、を備えることを特徴とする車両用周辺監視装置。
3. 前記映像処理手段は、
   前記映像撮影手段により撮影された車両後方の映像を車両運転者が車両のルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換する第１映像変換部と、 前記映像撮影手段により撮影された車両後側方の映像を、前記第１映像変換部で変換された車両後方の映像よりも少なくとも横方向に圧縮された映像に変換する第２映像変換部と、
   前記第１映像変換部で変換された車両後方の映像と、前記第２映像変換部で変換された車両後側方の映像とを合成して、前記映像表示手段に表示される表示映像を生成する映像合成部と、を有することを特徴とする請求項２に記載の車両用周辺監視装置。
4. 前記映像処理手段の第１映像変換部は、前記映像撮影手段により撮影された車両後方の映像の一部を切り出して、この切り出した映像を、車両運転者が車両のルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換することを特徴とする請求項３に記載の車両用周辺監視装置。
5. 前記映像処理手段の第１映像変換部は、前記映像撮影手段により撮影された車両後方の映像から切り出した一部の映像を拡大して、車両運転者が車両のルームミラーで視認する車両後方のミラー反射像に対応した映像サイズとすることを特徴とする請求項４に記載の車両用周辺監視装置。
6. 前記映像処理手段の第２映像変換部は、前記映像撮影手段により撮影された車両後側方の映像を、横方向と縦方向との双方において、前記第１映像変換部で変換された車両後方の映像よりも圧縮された映像に変換することを特徴とする請求項３乃至５の何れか１項に記載の車両用周辺監視装置。
7. 前記映像撮影手段は、
   車両後部から前記車両後方の映像を撮影する後方カメラと、
   車両側部から前記車両後側方の映像を撮影する側方カメラと、からなることを特徴とする請求項２乃至６の何れか１項に記載の車両用周辺監視装置。
8. 前記側方カメラは、車両のドアミラーに設置されていることを特徴とする請求項７に記載の車両用周辺監視装置。
9. 前記映像撮影手段は、単一のカメラからなることを特徴とする請求項２乃至６の何れか１項に記載の車両用周辺監視装置。
10. 車両内部の映像表示手段の横方向中央に位置する表示領域に映像撮影手段で撮影された車両後方の映像を表示するとともに、映像表示手段の横方向の両端側に位置する表示領域に、映像撮影手段で撮影された車両後側方の映像を車両後方の映像よりも圧縮して表示することを特徴とする映像表示方法。