JP2010095086A - 車両用表示装置および表示方法 - Google Patents

Abstract

【課題】車両後方および車両側方の比較的広い領域の映像を表示しながら、車両ドライバが正しい距離感で映像を把握できるような表示を行う。
【解決手段】カメラから出力される映像を分割することにより、消失点を含む第１の映像と、この第１の映像を除く第２の映像とを出力する。そして、第２の映像を処理対象として、消失点からの距離が遠い程、圧縮率が大きくなるように第２の映像が圧縮される。圧縮された第２の映像と、分割された他方の映像である第１の映像とが合成され、この合成された映像である提示映像がディスプレイ４に表示される。
【選択図】図１

Description

本発明は、車両用表示装置および表示方法に関する。

従来、自動車のルームミラーやドアミラーの死角となる領域の視界を確保しつつ、少ない視線移動で車両後方や車両側方の状況を車両ドライバが的確に把握できるようにするために、車両後方や車両側方の映像を車載カメラで撮影して、車両内部に設置したディスプレイに表示させることが提案されている。

例えば、特許文献には、車両後端部に設置した後方カメラと車両の左右ドアミラーに設置した２台の側方カメラとを用いて、車両後方の映像と車両側方の映像とをそれぞれ撮影し、これらの映像を横方向に並べて車両内部の１つのディスプレイに表示させるようにした装置が記載されている。
特開２００３−８１０１４号公報

ところで、この種の車両用表示装置では、車両後方および車両側方のできるだけ広い領域の映像を表示できるようにすることが望まれる。しかしながら、車両内部のディスプレイは表示領域の大きさが限られており、このディスプレイに車両後方および車両側方の広い領域の映像を並べて表示するには、その分、表示する映像サイズを小さくする必要がある。このため、例えば、車両後方の映像として後続車両を映した映像をディスプレイ上で表示したときに、この後続車両が、ルームミラーで確認する場合と比べて小さく表示され、車両ドライバがこの後続車両との距離感を正しく認識できずに実際よりも遠くに存在するものと誤って認識してしまう場合がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、車両後方および車両側方の比較的広い領域の映像を表示しながら、車両ドライバが正しい距離感で映像を把握できるような表示を行うことである。

かかる課題を解決するために、本発明は、車両の周囲を撮影した周囲映像を、消失点を含む映像部分である第１の映像と、当該第１の映像を除く映像部分である第２の映像とに分割する。第２の映像は、消失点からの距離が遠い程圧縮率が大きくなるように圧縮される。そして、圧縮された第２の映像と第１の映像とが合成され、この映像が表示される。

本発明によれば、分割した第２の映像を圧縮することで、限られた表示領域の中で、広い視界の映像を効率的に表現することができる。また、消失点から離れる程圧縮率を大きくすることで、違和感の少ない自然な映像からドライバが正しい距離感で映像を把握することができる。

（第１の実施形態）
図１は、本発明の第１の実施形態にかかる車両用表示装置を概略的に示す構成図である。この車両用表示装置は、車両に搭載されており、車両の周囲、具体的には、車両後方および左右側方に関する映像を表示する装置である。車両用表示装置は、複数のカメラ１〜３と、ディスプレイ４と、映像処理ユニット１０とを主体に構成されている。カメラ１〜３と、ディスプレイ４とは映像処理ユニット１０に接続されている。

各カメラ１〜３は、光学系およびイメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）を主体に構成される撮影手段であり、所定の輝度階調（例えば、256階調のグレースケール）のデジタル映像を作成する。各カメラ１〜３は、デジタル化された１フレーム分の映像を映像処理ユニット１０に出力する。

リアカメラ１は、例えば、ルーフスポイラーなどの車両後部の所定位置に設置されている。このリアカメラ１は、図２で示すように、自車両Ｖの後方の領域Ｂ１（以下「後方撮影領域」という）を撮影する。リアカメラ１によって撮影された後方撮影領域Ｂ１を含む映像は、映像処理ユニット１０に出力される。

右サイドカメラ２は、例えば、右側ドアミラーなどの車両右側部の所定位置に設置されている。この右サイドカメラ２は、図２に示すように、自車両Ｖの右側方から、後方撮影領域Ｂ１の一部を含む自車両Ｖの後方までの比較的広い領域Ｂ２（以下「右側撮影領域」という）を撮影する。右サイドカメラ２によって撮影された右側撮影領域Ｂ２を含む映像は、映像処理ユニット１０に出力される。

左サイドカメラ３は、例えば、左側ドアミラーなどの車両左側部の所定位置に設置されている。この左サイドカメラ３は、図２に示すように、自車両Ｖの左側方から、後方撮影領域Ｂ１の一部を含む自車両Ｖの後方までの比較的広い領域Ｂ３（以下「左側撮影領域」という）を撮影する。左サイドカメラ３によって撮影された左側撮影領域Ｂ３を含む映像は、映像処理ユニット１０に出力される。

ディスプレイ４は、車室内のインストルメントパネルに設置されており、映像処理ユニット１０からの出力される映像を表示する。ディスプレイ４としては、液晶パネルやＣＲＴなど周知の表示装置を利用することができる。ディスプレイ４は、例えば、ナビゲーション情報の表示に使用している表示装置などを流用することも可能である。

映像処理ユニット１０としては、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。映像処理ユニット１０は、各カメラ１〜３からの信号を入力として、ＲＯＭに格納された制御プログラムに従って各種の処理を行い、所定の映像をディスプレイ４に出力する。

ここで、映像処理ユニット１０の具体的な機能に関する説明に先立ち、映像処理ユニット１０によって実行される処理の概念について説明する。映像処理ユニット１０は、各カメラ１〜３から出力される映像のそれぞれを処理対象として、後述する提示映像を作成し、この提示映像をディスプレイ４に出力することにより、車両後方および左右側方の映像をディスプレイ４に表示する。映像処理ユニット１０によって作成される提示映像は、後方映像、右側方映像および左側方映像で構成される。

後方映像は、車両の前後軸を車両後方に伸ばした延長線を中心とした所定範囲の領域を映した映像であり、例えば、自車両Ｖのドライバがルームミラーにより確認できる範囲の車両後方の領域（以下「第１領域」という）の映像である。この第１領域は、リアカメラ１の撮影対象となる後方撮影領域Ｂ１の一部である。つまり、後方映像は、このリアカメラ１の撮影映像から得られる映像である。この後方映像から、自車両Ｖが走行している車線と同じ車線を走行する後続車両や、自車両Ｖよりも約２０ｍ以上後方の隣接車線を走行する後続車両などを確認することができる。

右側方映像は、後方映像に隣接した右隣りの領域を映した映像であり、少なくとも自車両Ｖのドライバが右側ドアミラーにより確認できる範囲の車両後方および右側方を含む領域（以下「第２領域」という）の映像である。第２領域は、右サイドカメラ２の撮影対象となる右側撮影領域Ｂ２の一部である。つまり、右側方映像は、右サイドカメラ２の撮影映像から得られる映像である。右側方映像から、自車両Ｖが走行している車線の右隣りの隣接車線上を自車両Ｖに比較的近い位置で走行している後続車両を確認することができる。

左側方映像は、後方映像に隣接した左隣りの領域を映した映像であり、少なくとも自車両Ｖのドライバが左側ドアミラーにより確認できる範囲の車両左後方および左側方を含む領域（以下「第３領域」という）の映像である。第３領域は、左サイドカメラ３の撮影対象となる左側撮影領域Ｂ３の一部である。つまり、左側方映像は、左サイドカメラ３の撮影映像から得られる映像である。この左側方映像から、自車両Ｖが走行している車線の左隣りの隣接車線上を自車両Ｖに比較的近い位置で走行している後続車両を確認することができる。

図３は、ディスプレイ４の表示領域の一例を示す図である。自車両Ｖの２ｍ程度後方を後続車両が走行している場合、自車両Ｖのドライバがルームミラーにより車両後方の様子を確認すると、ルームミラーのミラー反射像では、後続車両が比較的大きなサイズで確認される。このルームミラーのミラー反射像はドライバが普段から見慣れており、このミラー反射像の中の後続車両のサイズから、ドライバは後続車両までのおおよその距離を感覚的に認識できる。一方、車両後方および車両左右側方の広い領域を、ディスプレイ４の表示領域のサイズに合わせて自車両Ｖの後部に設置した車載カメラで広角映像として撮影し、これをディスプレイ４に表示した場合、その広角映像の中では後続車両が小さなサイズで確認される。そのため、自車両Ｖのドライバが普段から見慣れているルームミラーで後続車両を確認した場合と比べて映像中の後続車両Ｖ１が小さくなりすぎるために、ドライバがこの後続車両との距離感を正しく認識できずに、実際よりも遠くに存在するものと誤って認識してしまう。

そこで、映像処理ユニット１０は、ルームミラーで確認される自車両Ｖの後方を範囲とする後方映像については、ルームミラーによるミラー反射像に近い映像表現でディスプレイに表示する。具体的には、後方映像をミラー反射像に対応した映像サイズに変換する。そして、図３に示すように、ディスプレイ４の横方向中央に比較的広い範囲の表示領域Ｄ１（以下「中央表示領域」という）を設定し、このディスプレイ４の中央表示領域Ｄ１に、映像サイズを変換した後方映像を表示する。ここで、ミラー反射像に対応した映像サイズとは、必ずしもミラー反射像と一致した大きさの映像サイズを意味するものではなく、ミラー反射像から得られる距離感覚に近い距離感覚が得られる程度の映像サイズであればよい。

また、ディスプレイ４の限られた表示領域の中で後方映像のほかに右側方映像と左側方映像とを表示する。そのため、右側方映像と左側方映像については、圧縮した映像として、ディスプレイの中央表示領域Ｄ１の外側、具体的には、その右側に位置する右側表示領域Ｄ２と、その左側に位置する右側表示領域Ｄ３とに表示する。本実施形態の特徴の一つは、右側方映像および左側方映像に関する圧縮処理にあり、その詳細については後述する。

再び図１を参照するに、映像処理ユニット１０は、これを機能的に捉えた場合、映像入力部１１と、第１映像変換部１２と、第２映像変換部１３と、映像合成・出力部１４とで構成されている。

映像入力部１１は、各カメラ１〜３で撮影された映像をそれぞれ入力する機能を担っており、ＲＡＭにより構成される３つの入力映像フレームメモリ２１〜２３を備えている。入力映像フレームメモリ２１は、リアカメラ１に対応したフレームメモリ、入力映像フレームメモリ２２は右サイドカメラ２に対応したフレームメモリ、入力映像フレームメモリ２３は左サイドカメラ３に対応したフレームメモリである。入力映像フレームメモリ２１〜２３は、対応するカメラ１〜３から出力される１フレーム分の映像（デジタル映像）を記憶可能な容量を有する。リアカメラ１、右サイドカメラ２、左サイドカメラ３によって撮影された映像は、フレーム毎に、入力映像フレームメモリ２１〜２３に各々格納される。

第１映像変換部１２は、リアカメラ１で撮影された後方撮影領域Ｂ１の映像から後方映像となる映像部分を切り出して、これをドライバがルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換する。第１映像変換部１２は、演算部２４と、後方映像フレームメモリ２５とを備えている。

第１映像変換部１２の演算部２４は、映像入力部１１の入力映像フレームメモリ２１に格納されたリアカメラ１の撮影映像のピクセルデータを、定義テーブルに従って後方映像フレームメモリ２５の各ピクセルに再配置することで、リアカメラ１の撮影映像から後方映像を生成する。ここで、後方映像はリアカメラ１の撮影映像の一部を切り出した映像であるため、車両ドライバが自車両Ｖのルームミラーで視認する車両後方のミラー反射像に比べて、映像サイズが小さくなっている場合が多い。この場合、リアカメラ１の撮影映像から切り出した映像は、ルームミラーによるミラー反射像に対応した映像サイズにまで拡大される。

リアカメラ１の撮影映像と、後方映像との関係は定義テーブルに記載されている。定義テーブルは、後方映像フレームメモリ２５に格納する各ピクセルが、入力映像フレームメモリ２１の座標系（カメラ座標系）のどの場所に対応するかの対応関係を規定している。ここで、後方映像フレームメモリ２５の各ピクセルが対応する入力映像フレームメモリ２１の座標系での場所は必ずしも整数値ではなく、映像サイズを拡大する場合にはピクセルとピクセルの間である実数値をとる場合がある。この場合は、例えばニアレストネイバ法やバイリニア法、バイキュービック法などの既知の映像補間方法によりピクセルの補間を行う。

第２映像変換部１３は、右サイドカメラ２で撮影された右側撮影領域Ｂ２の映像から右側方映像となる映像部分を切り出すとともに、左サイドカメラ３で撮影された左側撮影領域Ｂ３の映像から左側方映像となる映像部分を切り出す。そして、第２映像変換部１３は、これら切り出した右側方映像および左側方映像を圧縮した映像に変換する。第２映像変換部１３は、右側方映像に対応した演算部２６と右側方映像フレームメモリ２７、左側方映像に対応した演算部２８と左側方映像フレームメモリ２９を備えている。

右側方映像に対応した演算部２６は、映像入力部１１の入力映像フレームメモリ２２に格納された右サイドカメラ２の撮影映像のピクセルデータを、定義テーブルに従って右側方映像フレームメモリ２７の各ピクセルに再配置する。これにより、演算部２６は、右サイドカメラ２の撮影映像から右側方映像を生成するとともに、生成した本来の右側方映像よりも圧縮した右側方映像を生成する。この映像の圧縮は、右側方映像フレームメモリ２７の各ピクセルと入力映像フレームメモリ２２の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。

左側方映像に対応した演算部２８は、映像入力部１１の入力映像フレームメモリ２３に格納された左サイドカメラ３の撮影映像のピクセルデータを、定義テーブルに従って左側方映像フレームメモリ２９の各ピクセルに再配置する。これにより、演算部２８は、左サイドカメラ３の撮影映像から左側方映像を生成するとともに、生成した本来の左側方映像よりも圧縮した左側方映像を生成する。この映像の圧縮は、左側方映像フレームメモリ２９の各ピクセルと入力映像フレームメモリ２３の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。

映像合成・出力部１４は、第１映像変換部１２で生成された後方映像と、第２映像変換部１３で生成された右側方映像および左側方映像とを合成し、１つの表示用映像としてディスプレイ４に出力する。映像合成・出力部１４は、演算部３０と、出力映像フレームメモリ３１とを備えている。

映像合成・出力部１４の演算部３０は、後方映像フレームメモリ２５に格納された後方映像のピクセルデータと、右側方映像フレームメモリ２７に格納された圧縮された右側方映像のピクセルデータと、左側方映像フレームメモリ２９に格納された圧縮された左側方映像のピクセルデータとを、映像合成定義テーブルに従って出力映像フレームメモリ３１に再配置する。これにより、映像合成・出力部１４は、後方映像と、圧縮された右側方映像と、圧縮された左側方映像とを合成した１つの映像である提示映像を生成する。映像合成定義テーブルは、ディスプレイ４の表示領域のレイアウト、すなわち、中央表示領域Ｄ１、右側表示領域Ｄ２および左側表示領域Ｄ３に対応する出力映像フレームメモリ３１の各ピクセルが、後方映像フレームメモリ２５、右側方映像フレームメモリ２７、左側方映像フレームメモリ２９のどのフレームメモリのどの場所に対応するかの対応関係を規定している。この映像合成定義テーブルに従ったピクセルの再配置により、後方映像の左右両側に、圧縮された右側方映像と、圧縮された左側方映像とが並んだ提示映像が生成され、出力映像フレームメモリ３１に格納される。

映像合成・出力部１４の出力映像フレームメモリ３１に格納された提示映像の映像データは、ディスプレイ４に随時出力される。これにより、ディスプレイ４には、提示映像が表示される。つまり、ディスプレイ４の中央表示領域Ｄ１には、後方映像がルームミラーのミラー反射像に対応する映像サイズで表示され、横方向の両端側に位置する左右の表示領域Ｄ２，Ｄ３には、右側方映像と左側方映像とがそれぞれ圧縮された映像として表示される。

ここで、ディスプレイに表示する映像をルームミラーや左右のドアミラーのミラー反射像に合わせた映像表現とする場合は、車載カメラの撮影映像を左右反転して使用する。つまり、ルームミラーや左右のドアミラーのミラー反射像は、車載カメラの撮影方向で見た場合（ドライバが車両後方を振り返って見た場合に相当）と比べると、左右反転した映像となる。したがって、車載カメラで撮影された映像を左右反転してミラー反射像に合わせ、ディスプレイの中央表示領域Ｄ１に後方映像、中央表示領域Ｄ１よりも右側に位置する右側表示領域Ｄ２に右側方映像、中央表示領域Ｄ１よりも左側に位置する左側表示領域Ｄ３に左側方映像をそれぞれ表示する。なお、ディスプレイに表示する映像を車載カメラの撮影方向に合わせた映像表現とする場合には、車載カメラで撮影された映像を左右反転せずに、右側方映像を左側の左側表示領域Ｄ３に表示し、左側方映像を右側の右側表示領域Ｄ２に表示すればよい。

以下、本実施形態の特徴の一つである、第２映像変換部１３によって実行される右側方映像と左側方映像とに対する映像の圧縮手法について説明する。ここで、図４は、第２映像変換部１３による圧縮処理の処理内容を概念的に説明するフローチャートである。右側方映像および左側方映像に関する映像の圧縮では、演算部２６，２８が定義テーブルに従って各ピクセルデータを再配置することにより一義的に映像を圧縮するものであるが、この定義テーブルに従った処理は、これを概念的に捉えた場合、以下に示す各処理を内包するものである。なお、本実施形態では、右側方映像に関する処理について説明するが、左側方映像についても同様に圧縮処理が行われる。

まず、ステップ１（Ｓ１）において、第２映像変換部１３は、右側方映像を読み込む。右サイドカメラ２による右側撮影領域Ｂ２が、第２領域と対応している場合には、右サイドカメラ２によって撮影された映像が右側方映像として読み込まれる。一方、右サイドカメラ２による右側撮影領域Ｂ２が、第２領域よりも広い場合には、第２領域に対応する映像部分を切り出した上で、当該映像部分が右側方映像として読み込まれる。

図５は、映像の分割処理を示す説明図であり、分割処理の対象となる右側方映像ＰＲを示している。同図において、隣接車線には、オートバイなどの二輪車がボックス状態で模式的に描かれている。ステップ２（Ｓ２）において、第２映像変換部１３は、右側方映像ＰＲを処理対象として、第１の映像ＰＲ１と、第２の映像ＰＲ２とに分割する。ここで、第１の映像ＰＲ１は、右側方映像ＰＲのうちの消失点を含む所定領域に対応する映像部分であり、第２の映像ＰＲ２は、右側方映像ＰＲから第１の映像ＰＲ１を除いた映像部分である。右側方映像ＰＲにおいて消失点がどこに存在するかは、右サイドカメラ２の位置によって決まる。そのため、右サイドカメラ２の位置から特定される消失点の位置をベースに、右側方映像ＰＲを第１の映像ＰＲ１と第２の映像ＰＲ２とに分割する分割位置が予め設定されている。本実施形態では、右側方映像ＰＲを予め設定された分割位置において縦方向に切断することにより、第１の映像ＰＲ１と第２の映像ＰＲ２とに分割する。

ステップ３（Ｓ３）において、第２映像変換部１３は、分割された一対の映像部分のうち、消失点を含まない映像である第２の映像ＰＲ２を処理対象として、この第２の映像ＰＲ２を横方向（水平方向）に圧縮する圧縮処理を行う。図６は、横方向への映像圧縮の概念を説明する説明図であり、図７は、横方向に圧縮された第２の映像ＰＲ２を模式的に示す説明図である。横方向に圧縮された圧縮後の第２の映像ＰＲ２を撮影することができる仮想的なカメラ（以下「仮想カメラ」という）を考えると、この仮想カメラと、第２の映像ＰＲ２（右側方映像ＰＲ）を撮影する右サイドカメラ２とは、次に述べるような関係を具備している。

ここで、ｘ軸、ｙ軸およびｚ軸からなる三次元空間において、仮想カメラおよび右サイドカメラ２は、その撮像面（すなわち、第２の映像ＰＲ２）が、横方向（水平方向）をｘ軸、縦方向（垂直方向）をｙ軸とするｘｚ平面によって規定され、光学中心がｙ軸と平行に設定されている。また、仮想カメラのｚ軸方向の撮像面の幅と、右サイドカメラ２のｚ軸方向の撮像面の幅とは互いに対応しているとともに、撮像面における消失点Ｐｓの位置が互いに対応する関係となっている。

映像の横方向の圧縮は、ｘｙ平面で捉えることができる。ｒxyは、仮想カメラの撮像面において、消失点Ｐｓから任意の点Ｐｔまでの距離（ｘｙ平面での距離）である。Ｗｉは、仮想カメラの撮像幅、具体的には、仮想カメラの撮像面において、消失点Ｐｓから撮像面の端部までの距離（ｘｙ平面での距離）である。一方、ｒｃxyは、右サイドカメラ２の撮像面において、消失点Ｐｓから任意の点までの距離（ｘｙ平面での距離）である。

仮想カメラの撮像面上のある点ｒxyにおけるピクセルデータ（具体的には、ｚ軸方向に並ぶピクセルデータ群）は、図６（ａ）に示す曲線ｒxyによって定義される。具体的には、曲線ｒxyに基づいて、仮想カメラの撮像面において点ｒxyに入射する光の入射角θxyが特定される。つぎに、特定された入射角θxyに基づいて、この入射角θxyで入射する光が、実際の右サイドカメラ２の撮像面上のどの点ｒｃxyに入射するかが計算される。右サイドカメラ２において、入射角θxyと撮像面上の点ｒｃxyとの対応関係は、例えば、ｆθレンズモデルなどを考慮することにより、定義することができる。そして、右サイドカメラ２において、入射角θxyに対応する撮像面上の点ｒｃxyのピクセルデータ（具体的には、ｚ軸方向に並ぶピクセルデータ群）が抽出され、このピクセルデータが、仮想カメラの撮像面上の点ｒxyにおけるピクセルデータとして決定される。ここで、仮想カメラを定義する曲線ｒxyは、以下に示す関係を満たす。

（数式１）
ｒxy ＝ Ｗｉ−Ｏｆ／tanθxy×Ｃ１＋Ｃ２
ここで、Ｏｆは、仮想カメラに入射角θxyで入射する実空間上の像Ｔａと、仮想カメラの光学中心との間の距離（ｘｙ平面での距離）である。また、Ｃ１は、所定の定数であり、映像に関する総体的な圧縮率を設定するパラメータである。すなわち、このＣ１を大きな値に設定すれば、映像に関する総体的な圧縮率が大きくなり、このＣ１を小さな値に設定すれば、映像に関する総体的な圧縮率が小さくなる。Ｃ１は、実験やシミュレーションを通じて、その最適値が予め設定されている。また、Ｃ２は、所定の定数であり、映像の圧縮を開始する圧縮開始点であり、この圧縮開始点は、消失点Ｐｓからの距離（ｘｙ平面での距離）ｒthによって示される。本実施形態において、圧縮開始点ｒthは、第１の映像ＰＲ１と、第２の映像ＰＲ２との分割点に設定されている。

図６および数式１から分かるように、消失点から離れるほど、直線ｆθと曲線ｒxyとの乖離が大きくなる。すなわち、仮想カメラによって撮影される映像、すなわち、圧縮後の第２の映像ＰＲ２は、実際の右サイドカメラ２の映像（具体的には、圧縮前の第２の映像）を比較した場合、消失点から離れるほど、その圧縮率が大きく設定される傾向を有している。また、同数式の右辺の第２項により、自車両からの距離が近い程、第２の映像における映像上の横方向距離ｈと、実空間上の距離Ｄｉとが比例するように、横方向の圧縮率が設定される。

ステップ４（Ｓ４）において、第２映像変換部１３は、横方向に圧縮された第２の映像ＰＲ２を処理対象として、縦方向への圧縮処理を行う。ここで、図８は、第２の映像ＰＲ２の縦方向の圧縮結果を示す説明図である。具体的には、第２映像変換部１３は、上述したｘｙ平面における消失点からの距離ｒxyの点において、そのｚ方向に並ぶピクセルデータ群を対象として、距離ｒxyにおける横方向の圧縮率に応じて、ｚ方向（縦方向）への圧縮を行う。同図に示すように、縦方向の圧縮は、ｘｙ平面における消失点からの距離ｒxyが離れるほど、縦方向（ｚ方向）の圧縮率が強くなる傾向を有している。

ステップ６（Ｓ６）において、第２映像変換部１３は、横方向および縦方向に圧縮が行われた第２の映像ＰＲ２と、第１の映像ＰＲ１とを合成する。図９は、第１の映像ＰＲ１および第２の映像ＰＲ２の合成結果を示す説明図である。

図１０は、切り出しおよび拡大された映像の説明図である。ステップ７（Ｓ７）において、第２映像変換部１３は、合成された映像を対象として、必要な映像部分を切り出すとともに、この切り出された映像部分を対象として、ディスプレイ４の右側表示領域Ｄ２に対応する映像サイズへと拡大する。

このように本実施形態の車両用表示装置は、右サイドカメラ２から出力される右側方映像ＰＲを分割することにより、消失点を含む第１の映像ＰＲ１と、この第１の映像ＰＲ１を除く第２の映像ＰＲ２とを出力する。そして、第２の映像ＰＲ２を処理対象として、消失点からの距離が遠い程、圧縮率が大きくなるように第２の映像ＰＲ２が圧縮される。圧縮された第２の映像ＰＲ２と、分割された他方の映像である第１の映像ＰＲ１とが合成され、この合成された映像である提示映像がディスプレイ４に表示される。なお、本実施形態では、車両用表示装置は、左サイドカメラ３から出力される左側方映像についても同様の処理を行う。

かかる構成によれば、分割した第２の映像を圧縮することにより、ディスプレイ４の限られた表示領域の中で、広い視界の映像を効率的に表現することができる。また、消失点から離れる程圧縮率を大きくすることで、違和感の少ない自然な映像を表示することができる。そのため、ドライバが正しい距離感で映像を把握することができる。

図１１，１２は、ディスプレイ４に表示される後方映像ＰＢ、右側方映像ＰＲおよび左側方映像ＰＬを示す説明図である。なお、図１１では、右側方映像ＰＲおよび左側方映像ＰＬは、横方向の圧縮処理のみが行われた状態を示しており、図１２では、右側方映像ＰＲおよび左側方映像ＰＬは、横方向および縦方向の圧縮処理が行われた状態を示している。本実施形態によれば、ディスプレイ４の横方向中央に位置する比較的広い中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズで後方映像ＰＢが表示され、中央表示領域Ｄ１の外側に位置する左右の表示領域Ｄ２，Ｄ３に右側方映像ＰＲと左側方映像ＰＬとが圧縮した映像として表示される。そのため、ディスプレイ４の限られた表示領域の中で自車両Ｖの後方および側方の広い範囲の映像を効率よく表示することができるとともに、自車両Ｖの後方の後方映像ＰＢに関しては、自車両Ｖのドライバが正しい距離感で映像を把握できるように表示することができる。

また、右サイドカメラ２や左サイドカメラ３による広角映像において、道路わきの物体や接近してくる後続車両は、自車両に近い位置では、ディスプレイ４の表示領域上を速く移動する傾向を有し、自車両から離れている位置では、ディスプレイ４の表示領域上を遅く移動する傾向を有している。そのため、映像上の一連の移動において不自然なフローが発生し、映像に対してドライバが違和感があったり、接近車両との距離の判断が難しかったりする。しかしながら、本実施形態によれば、第２の映像ＰＲ２における横方向の距離が消失点から離れる程、横方向の圧縮率が大きくされる。これにより、ディスプレイ４に表示される映像上のフローが一定となるような作用を得ることができるので、煩わしさや映像酔いといったユーザが感じる違和感を低減することができる。

ここで、隣接車線の中央をある特定の寸法の物体（例えば、二輪車）が接近してくると仮定する。この場合、二輪車の映像上の先端と後端のｘ座標値は、幾何学的な関係から、図１３の破線で示す関係となる。ここで、細い破線は、二輪車の先端に対応し、太い破線は、二輪車の後端に対応する。また、図１４の破線は、二輪車の先端と後端のｘ座標値の差から、表示領域上の二輪車の幅を示している。同図から分かるように、実距離がＬｔｈ（例えば、５ｍ）を下回ると、二輪車の表示領域上の幅が急激に大きくなっている。

そこで、本実施形態によれば、自車両からの距離が近い程、第２の映像ＰＲ２における映像上の横方向距離ｈと、実空間上の距離Ｄｉとが比例するように、横方向の圧縮率が設定される。このような関係性を考慮することにより、二輪車の映像上の先端と後端のｘ座標値は、幾何学的な関係から、図１３の実線で示す関係となる。ここで、細い実線は、二輪車の先端に対応し、太い実線は、二輪車の後端に対応する。また、図１４の実線は、二輪車の先端と後端のｘ座標値の差から、表示領域上の二輪車の幅を示している。このように、物体が自車両の近く、例えば、５ｍよりも近くにある場合は、対象物の幅が一定のサイズを保っている。これにより、自車両に近い物体でも一定の速度で表示領域上を動くことになるため、違和感が軽減される。また、接近車との距離や相対速度の判断がしやすくなる。さらに、隣接車線において直近を走行する後続車両も、この後続車両の後を走行する後続車両も同程度の大きさで表示することができる。これにより、限られたディスプレイ４の表示領域においても後続車の視認性を距離に関係なく実現することができる。

また、図１２に示すように、本実施形態によれば、第２の映像ＰＲ２における横方向の距離が消失点から離れる程、縦方向の圧縮率が大きくされる。横方向の圧縮により、道路上の白線などに縦方向の歪みが生じるが、縦方向へ圧縮を行うことにより、映像上の歪みを補正することができる。これにより、映像に感じる違和感を低減することができる。

なお、本実施形態では、後方映像の拡大率、および、圧縮処理後の右側方映像および左側方映像の拡大率は、一定に設定されている。しかしながら、この拡大率は、自車両の走行速度に応じて変更してもよい。例えば、自車両の走行速度が速い程、切り出した映像部分に対する拡大率を大きく設定するといった如くである。高速走行のシーンでは、市街地走行のシーンと比較して、ドライバが自然と大きな車間距離を設定する。そのため、拡大率を一定に設定した場合には、高速走行シーンで、後続車両が小さく映し出され、後続車両までの距離判断を誤ってしまう可能性がある。しかしながら、このように走行速度に応じて、拡大率を変更することにより、後続車両を適切なサイズで表示することができるので、後続車両に対する注意喚起を有効に促すことができるとともに、距離感の判断を誤ってしまうといった事態を抑制することができる。

（第２の実施形態）
図１５は、第２実施形態にかかる車両用表示装置を概略的に示す構成図である。本実施形態にかかる車両用表示装置では、自車両Ｖの後部に設置された単一の車載カメラ（広角リアカメラ）４１により車両後方および車両左右側方の映像を撮影する。また、表示用の映像を生成する映像処理ユニット１０は、映像入力部１１に、入力映像フレームメモリ２１，２２，２３に代えて、広角リアカメラ４１に対応した入力映像フレームメモリ４２が設けられている。また、映像処理ユニット１０は、第１映像変換部１２および第２映像変換部１３に代えて、広角映像変換部１５が設けられている。

広角リアカメラ４１は、光学系およびイメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）を主体に構成される撮影手段であり、所定の輝度階調（例えば、256階調のグレースケール）のデジタル映像を作成する。広角リアカメラ４１は、デジタル化された１フレーム分の映像を映像処理ユニット１０に出力する。広角リアカメラ４１は、例えば、ルーフスポイラーなどの車両後部の所定位置に設置されている。この広角リアカメラ４１は、図１６で示すように、自車両Ｖの後方および左右側方の広い領域Ｃ１（以下「広角撮影領域」という）の広角映像を撮影する。上述した後方映像の映像範囲となる第１領域と、右側方映像および左側方映像の映像範囲となる第２および第３領域は、この広角リアカメラ４１の撮影対象となる広角撮影領域Ｃ１の一部である。つまり、後方映像、右側方映像および左側方映像を含む広角後方映像は、この広角リアカメラ４１の撮影映像からその一部を切り出すことで得られる映像である。この広角リアカメラ４１で撮影された映像は、フレーム単位で、映像入力部１１に設けられた入力映像フレームメモリ４２に格納される。

一方、映像処理ユニット１０において、広角映像変換部１５は、広角リアカメラ４１で撮影された広角撮影領域Ｃ１の映像から広角後方映像となる領域を切り出すとともに、この切り出された映像を圧縮した映像に変換する。広角映像変換部１５は、演算部４３と、広角映像フレームメモリ４４とを備えている。

演算部４３は、映像入力部１１の入力映像フレームメモリ４２に格納された広角リアカメラ４１の撮影映像のピクセルデータを、定義テーブルに従って広角映像フレームメモリ４４の各ピクセルに再配置する。これにより、演算部４３は、広角リアカメラ４１の撮影映像から広角後方映像を生成するとともに、圧縮した広角後方映像を生成する。この映像の圧縮は、広角映像フレームメモリ４４の各ピクセルと入力映像フレームメモリ４２の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。

映像合成・出力部１４は、第１実施形態で説明した映像合成・出力部１４と同様に、演算部３０と出力映像フレームメモリ３１とを備え、広角映像変換部１５で生成された、圧縮された広角後方映像を、１つの提示映像としてディスプレイ４に出力する。これにより、ディスプレイ４には、広角後方映像が提示映像として表示される。

図１７は、広角映像変換部１５による映像の圧縮手法について説明する説明図である。以下、本実施形態の特徴の一つである、広角映像変換部１５によって実行される広角後方映像に対する映像の圧縮手法について説明する。広角後方映像に関する映像の圧縮では、演算部４３が定義テーブルに従って各ピクセルデータを再配置することにより一義的に映像を圧縮するものであるが、この定義テーブルに従った処理は、以下に示す各ステップの処理を内包するものである。なお、本実施形態では、右側方映像に関する処理について説明するが、左側方映像についても同様に圧縮処理が行われる。

まず、第１の実施形態に示すステップ１の処理と同様に、広角映像変換部１５は、図１７において一点鎖線で示される広角後方映像ＰＢＷを読み込む。

つぎに、第１の実施形態に示すステップ２の処理と同様に、広角映像変換部１５は、広角後方映像ＰＢＷを処理対象として、第１の映像ＰＢ１と、第２の映像ＰＢ２とに分割する。ここで、第１の映像ＰＢ１は、広角後方映像ＰＢＷのうち、消失点を含む所定領域に対応する映像部分であり、第２の映像ＰＢ２は、広角後方映像ＰＢＷから第１の映像ＰＢ１を除いた映像部分である。広角後方映像ＰＢＷにおいて消失点がどこに存在するかは、広角リアカメラ４１の位置によって決まる。そのため、広角リアカメラ４１の位置から特定される消失点の位置をベースに、広角後方映像ＰＢＷを第１の映像ＰＢ１と第２の映像ＰＢ２とに分割する分割位置が予め設定されている。本実施形態では、広角後方映像ＰＢＷを予め設定された分割位置において矩形状に切断することにより、第１の映像ＰＢ１と第２の映像ＰＢ２とに分割する。

そして、第１の実施形態に示すステップ３の処理と同様に、広角映像変換部１５は、分割された一対の映像部分のうち、消失点を含まない映像である第２の映像ＰＢ２を処理対象として、横方向への圧縮処理を行う。具体的には、広角映像変換部１５は、ｘｙ平面における距離が消失点から離れるほど、その圧縮が強くなるように映像の圧縮を行う。なお、映像の圧縮概念については、第１の実施形態と同様であり、ここでの説明は省略する。

また、第１の実施形態に示すステップ４の処理と同様に、広角映像変換部１５は、横方向に圧縮された第２の映像ＰＲ２を処理対象として、縦方向への圧縮処理を行う。具体的には、広角映像変換部１５は、ｙｚ平面における距離が消失点から離れるほど、その圧縮が強くなるように、映像の圧縮を行う。なお、映像の圧縮概念については、横方向の圧縮処理と同様であり、ここでの説明は省略する。

つぎに、第２映像変換部１３は、横方向および縦方向に圧縮が行われた第２の映像ＰＲ２と、第１の映像ＰＲ１とを合成する。最後に、第２映像変換部１３は、合成された映像を対象として、必要な映像部分を切り出すとともに、この切り出された映像部分を対象として、ディスプレイ４の表示領域に対応する映像サイズへと拡大する。これにより、図１８に示すように、広角後方映像がディスプレイ４に表示される。このとき、第１の映像ＰＲ１において映し出される後続車両が、ルームミラーによるミラー反射像に対応した映像サイズにまで拡大されることが好ましい。

このように本実施形態によれば、分割した第２の映像を圧縮することにより、ディスプレイ４の限られた表示領域の中で、広い視界の映像を効率的に表現することができる。また、消失点から離れる程圧縮率を大きくすることで、違和感の少ない自然な映像を表示することができる。

また、本実施形態によれば、第２の映像ＰＢ２における横方向の距離が消失点から離れる程、横方向の圧縮率が大きくされる。これにより、ディスプレイ４に表示される映像上のフローが一定となるような作用を得ることができるので、煩わしさや映像酔いといったユーザが感じる違和感を低減することができる。

さらに、本実施形態によれば、第２の映像ＰＢ２における縦方向の距離が消失点から離れる程、横方向の圧縮率が大きくされる。これにより、ディスプレイ４に表示される映像上のフローが一定となるような作用を得ることができるので、煩わしさや映像酔いといったユーザが感じる違和感を低減することができる。これにより、車両の直近の映像についても、映像上のフローが一定となるような作用を得ることができるので、煩わしさや映像酔いといったユーザが感じる違和感を低減することができる。また、縦方向へ圧縮を行うことにより、映像上の歪みを補正することができる。これにより、道路上の白線などに縦方向の歪みを補正することができるので、映像に生じる違和感を低減することができる。

なお、本実施形態であっても、合成後の映像についての拡大率は、自車両の走行速度に応じて変更してもよい。

第１の実施形態にかかる車両用表示装置を概略的に示す構成図 車載カメラの撮影状態を説明する説明図 ディスプレイ４の表示領域の一例を示す図 第２映像変換部１３による圧縮処理の処理内容を概念的に説明するフローチャート 映像の分割処理を示す説明図 横方向への映像圧縮の概念を説明する説明図 横方向に圧縮された第２の映像ＰＲ２を模式的に示す説明図 第２の映像ＰＲ２の縦方向の圧縮結果を示す説明図 第１の映像ＰＲ１および第２の映像ＰＲ２の合成結果を示す説明図 切り出しおよび拡大された映像の説明図 ディスプレイ４に表示される後方映像ＰＢ、右側方映像ＰＲおよび左側方映像ＰＬを示す説明図 ディスプレイ４に表示される後方映像ＰＢ、右側方映像ＰＲおよび左側方映像ＰＬを示す説明図 映像上の横方向距離（ｘ軸）と実空間上の距離との関係を示す説明図 映像上の横方向の幅（ｘ軸）と実空間上の距離との関係を示す説明図 第２実施形態にかかる車両用表示装置を概略的に示す構成図 車載カメラの撮影状態を説明する説明図 広角映像変換部１５による映像の圧縮手法について説明する説明図 切り出しおよび拡大された映像の説明図

符号の説明

１…リアカメラ
２…右サイドカメラ
３…左サイドカメラ
４…ディスプレイ
１０…映像処理ユニット
１１…映像入力部
１２…第１映像変換部
１３…第２映像変換部
１４…映像合成・出力部
１５…広角映像変換部
２１…入力映像フレームメモリ
２２…入力映像フレームメモリ
２３…入力映像フレームメモリ
２４…演算部
２５…後方映像フレームメモリ
２６…演算部
２７…右側方映像フレームメモリ
２８…演算部
２９…左側方映像フレームメモリ
３０…演算部
３１…出力映像フレームメモリ
４１…広角リアカメラ
４２…入力映像フレームメモリ
４３…演算部
４４…広角映像フレームメモリ

Claims (9)

1. 車両の周囲を撮影して、周囲映像を出力する撮影手段と、
   前記撮影手段から出力される周囲映像を分割することにより、消失点を含む映像部分である第１の映像と、当該第１の映像を除く映像部分である第２の映像とを出力する分割手段と、
   前記分割手段から出力された第２の映像を処理対象として、消失点からの距離が遠い程圧縮率が大きくなるように前記第２の映像を圧縮する圧縮手段と、
   前記圧縮手段によって圧縮された第２の映像と、前記分割手段から出力された第１の映像とを合成する合成手段と、
   前記合成手段から出力される映像を表示する表示手段と
   を有することを特徴とする車両用表示装置。
2. 前記圧縮手段は、前記第２の映像を横方向に圧縮するものであり、当該第２の映像における横方向の距離が前記消失点から離れる程、横方向の圧縮率を大きくすることを特徴とする請求項１に記載された車両用表示装置。
3. 前記圧縮手段は、横方向に圧縮された第２の映像を処理対象として、当該第２の映像を縦方向に圧縮するものであり、当該第２の映像における横方向の距離が前記消失点から離れる程、縦方向の圧縮率を大きくすることを特徴とする請求項２に記載された車両用表示装置。
4. 前記圧縮手段は、横方向に圧縮された第２の映像を処理対象として、当該第２の映像を縦方向に圧縮するものであり、当該第２の映像における縦方向の距離が前記消失点から離れる程、縦方向の圧縮率を大きくすることを特徴とする請求項２に記載された車両用表示装置。
5. 前記圧縮手段は、自車両からの距離が近い程、前記第２の映像における映像上の横方向距離と、実空間上の距離とが比例するように、横方向の圧縮率を設定することを特徴とする請求項１または２に記載された車両用表示装置。
6. 前記合成手段は、前記合成した映像を処理対象として、所定の映像部分を切り出すとともに、当該切り出した映像部分を拡大した上で映像を出力することを特徴とする請求項１に記載された車両用表示装置。
7. 前記合成手段は、自車両の走行速度に応じて、前記切り出した映像部分に対する拡大率を変更することを特徴とする請求項６に記載された車両用表示装置。
8. 前記合成手段は、自車両の走行速度が速い程、前記切り出した映像部分に対する拡大率を大きくすることを特徴とする請求項７に記載された車両用表示装置。
9. 車両の周囲を撮影した周囲映像を、消失点を含む映像部分である第１の映像と、当該第１の映像を除く映像部分である第２の映像とに分割し、前記第２の映像を処理対象として、消失点からの距離が遠い程圧縮率が大きくなるように前記第２の映像を圧縮するとともに、圧縮された第２の映像と、前記分割された第１の映像とを合成した映像を表示することを特徴とする表示方法。

Images