JP2003346189A - 車両用映像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】死角のずれによって生じる撮像データの欠けを
カバーした表示映像を表示する車両用映像表示装置を提
供すること。 【解決手段】車両に設けられた複数のカメラ１により撮
像された車両周辺の撮像データから車両周辺の全体映像
を合成させる合成部２１と、この合成された全体映像
を、車両上空の所定の視点から斜めに見下ろす投射面に
投射する投射映像へ変換させる編間部２２と、同じ視点
から見た車両を立体的に表現する車両のグラフィックデ
ータ３３を読み出して投射映像に重畳させて表示映像を
作成する重畳部２３と、この表示映像を表示するディス
プレイ４とを備えた。

Description

【発明の詳細な説明】

【０００１】

【技術分野】本発明は、車両周辺の映像を表示する、車
両用映像表示装置及び車両の映像表示用プログラムに関
する。

【０００２】

【背景技術】車両に装備したカメラが撮像した車両周辺
の映像を、車庫入れ等の操作の補助のために車両室内で
表示することが行われている（特開平１１−１５１９７
５号公報参照）。この映像の表示において、カメラが撮
像した映像をそのままディスプレイに表示することも可
能であるが、視点を車両上空に移して上空から捉えた車
両の鳥瞰映像をディスプレイに表示することが試みられ
ている。

【０００３】ところで、車両に装備されたカメラが車両
周辺を撮像する場合、車両自体の陰となる部分がカメラ
の死角となり、この部分の撮像データが得られない場合
がある。たとえば、バックドアの上部に装備されたカメ
ラを用いて車両の後下方を撮像した場合、リアバンパー
の陰になった部分が死角となり、この部分の撮像データ
を得ることができない。

【０００４】撮像データをそのままディスプレイに表示
するのであれば問題はない。しかし、視点を車両上空に
移動させた映像を撮像データから作成しようとしたと
き、カメラの死角と、車両上空の視点の死角とにずれが
生じてしまうので、車両上空の視点から見えるはずのリ
アバンパーの陰の部分がカメラの死角となり、撮像デー
タに欠けが生じるという事態が生じてしまう。

【０００５】このような欠けを含む撮像データに基づ
き、他の視点から見た車両の映像を作成した場合には、
他の視点から見えるはずの映像がカメラの死角となって
しまうため、その死角の範囲が単なる背景色等となって
しまうという問題があった。

【発明の開示】本発明の車両用映像表示装置、車両用映
像表示方法、および車両の映像表示用プログラムは、映
像の欠けを補って、認識しやすい車両周辺の映像を表示
することを目的とする。

【０００６】本発明は、車両設置のカメラが撮像した撮
像データに基づき作成された、車両上空の所定の視点か
ら投射した車両の投射映像に、同じく車両上空の所定の
視点から見た車両の立体的グラフィックデータを重畳さ
せた表示映像を作成して表示する。

【０００７】所定の視点から投射した車両の投射映像
に、同じ視点から見た車両の立体的グラフィックデータ
を重畳すると、立体的グラフィックデータは陰となる部
分を伴うため、この重畳された立体的グラフィックデー
タによりカメラの死角による撮像データの欠けた部分が
補われる。すなわち、この立体的グラフィックデータの
陰の部分にカメラの死角部分が含まれれば表示映像にお
いて問題とはならず、結果として撮像データの欠けを補
うことができる。ちなみに、平面的なグラフィックデー
タは陰を伴わないため、単に平面的なグラフィックデー
タを車両の投射映像に単に重畳させたとしても、撮像デ
ータの欠けを補うことはできない。

【０００８】本発明によれば、視点を移動させたことに
伴う映像の欠けを補って車両及び車両周辺の映像を表示
する車両用映像表示装置、車両用映像表示方法及び車両
の映像表示用プログラムを提供することができる。

【０００９】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。本実施形態の車両用映像表示装置１
００は、車両上空の視点から見下ろした車両及び車両の
周辺の映像をディスプレイに表示する装置である。

【００１０】図１は本発明の車両用映像表示装置の実施
形態を示すブロック図、図２及び図３は本実施形態のカ
メラの位置、視点の位置を説明するための図、図４及び
図５は上面全体映像（全体映像）から鳥瞰投射映像（投
射映像）への変換処理を説明するための図（図４はＹ軸
方向の変換処理、図５はＸ軸方向の変換処理）である。

【００１１】図１に示すように、本実施形態は、車両及
び車両の周辺の映像を撮像する複数のカメラ１（１ａ〜
１ｆ）と、カメラ１が撮像した撮像データから表示映像
を作成する表示映像作成手段２と、作成された表示映像
を表示するディスプレイ４とを有している。

【００１２】カメラ１は、車両の外側に設けられ、車両
の周囲を撮像する。カメラ１の配置及び配置するカメラ
の数は特に限定されない。本実施形態では、図２及び図
３に示すように、４つのカメラ１ｃ〜１ｆを車両の外側
の前後左右の各ポイントに設けた。本実施形態では各カ
メラ１ｃ〜１ｆは車両の載置面側へ受光面を向け、それ
ぞれの撮像範囲に応じた領域の映像を撮像する。カメラ
１（１ｃ〜１ｆ）は、レンズ系を備えた光学式カメラで
もよいが、本実施形態ではＣＣＤ素子を備えたディジタ
ルカメラを採用する。撮像した撮像データは表示映像作
成手段２へ送出される。なお、カメラ１ｃ〜１ｆの位
置、視点Ｐ１，Ｐ２の位置及び車両の前後左右の端部の
位置との関係については後述する。

【００１３】また、表示映像作成手段２は、取得した撮
像データに基づいて、車両上空の所定の視点から車両を
投射した投射映像を作成し、この撮像映像に同じ視点か
ら見た車両の立体的グラフィックデータを重畳して表示
映像を作成する。この表示映像作成手段２は、ＣＰＵ
と、ＲＯＭと、ＲＡＭとを備えたマイクロコンピュータ
である。プログラム又はファームウェアが格納されたＲ
ＯＭと、このＲＯＭに格納されたプログラムを実行する
ことで表示映像作成手段２として機能するＣＰＵと、主
記憶手段３０となるＲＡＭとを備えている。もちろん、
ＣＰＵ、ＲＯＭ、ＲＡＭとを論理回路により構成しても
よい。

【００１４】具体的には、表示映像作成手段２は、カメ
ラ１ａ、１ｂから取得した複数の「撮像データ」を１つ
の「全体映像」へ合成する合成部２１と、この合成部２
１にて合成された全体映像を所定の「投射映像」へ変換
する変換部２２と、この変換部２２にて変換された投射
映像に車両の立体的グラフィックデータ３３を重畳させ
る重畳部２３とを備えている。

【００１５】また、表示映像作成手段２は、記憶部３０
を有し、さらに、この記憶部３０はカメラ情報３１を記
憶する領域、座標変換式３２を記憶する領域、立体的グ
ラフィックデータ３３を記憶する領域とを有している。

【００１６】この「カメラ情報３１」は、合成部２１が
撮像データから全体映像を合成する際に必要な情報であ
り、例えば、カメラ１の取付け位置、撮像方向、撮像角
度に関する情報、レンズ、ＣＣＤ素子に関する情報であ
る。「座標変換式３２」は、変換部２２が全体映像を投
射映像へ変換する際に必要な変換式である。この変換式
は、全体映像に関する情報、投射映像の視点の位置、視
点からの見下ろし角度、投射角度、投射面の位置（投射
面と車両の載置面との角度αを含む）その他の変換に必
要な情報又は座標変換式３２を導くために必要な情報を
含む。「立体的グラフィックデータ３３」は、所定の視
点から所定の投射角で見た車両を、所定の投射面に立体
的に且つ視覚的に表現した画像情報である（図９参
照）。記憶部３０は、視点又は視点及び投射面に応じた
複数の立体的グラフィックデータ３３を予め記憶してい
る。

【００１７】以下、表示映像の作成を行う表示映像作成
手段２の合成部２１、変換部２２及び重畳部２３につい
て、それぞれ説明する。

【００１８】＜合成部＞合成部２１は、各カメラ１ａ、
１ｂが撮像した各撮像データを取得する。合成部２１は
各カメラ１ａ，１ｂの撮像範囲に応じた撮像データを、
車両周辺を表す１つのまとまった全体映像に合成する。
この場合、合成部２１は、記憶部３０からカメラ情報３
１を読み出し、このカメラ情報３１と取得した撮像デー
タとに基づいて全体映像を合成する。なお、この全体映
像の視点は車両の上空であれば特に限定されない。

【００１９】＜変換部＞変換部２２は、合成部２１にて
合成された全体映像を、車両上空の所定の視点から所定
の投射面へ車両を投射した投射映像へ変換する。特に限
定されないが、本実施形態の投射面は、車両の載置面に
対して所定の角度α（０＜α≦９０°）を有し、車両の
載置面（路面、地面、駐車面を含む）に対して傾きをも
った面である。この角度αは、特に限定されず視点の位
置に応じて決定される。本実施形態では、所定の視点か
らの投射軸（投射方向）に垂直に交わる面を投射面とし
た。具体的に、所定の視点からの投射方向が車両の載置
面に対して角度θであるとき、投射面は車両の載置面に
対してα＝９０°−θの角度をなす。

【００２０】ここで、変換部２２による上面全体映像か
ら投射映像への変換処理の一例を図４、図５を参照しつ
つ説明する。この変換例では、車両上空の無限遠を視点
として合成された全体映像である上面全体映像（車両上
空から垂直に車両を見下ろした映像）を、車両上空の所
定の点（全体映像の視点よりも低い位置）を視点とした
投射映像である鳥瞰投射映像（車両上空から所定の角度
をもって見下ろした映像）へ変換する。

【００２１】図４に示す上面全体映像の座標（上面座
標）上の任意の点Ｂを鳥瞰投射映像の座標（投射座標）
上の点Ｃに変換するために、上面座標上の点と鳥瞰座標
上の点との関係を導く。

【００２２】まず、Ｙ軸方向の変換を図４を参照しつつ
説明する。Ｙで示された軸は上面全体映像の上面座標に
おけるＹ座標軸である。図４に示す点Ａは投射映像の視
点の位置を示す。ｈは視点の上面座標に対する高さであ
る。θは視点からの見下ろし角度を示す。

【００２３】ｙで示された軸は鳥瞰投射映像の投射座標
におけるｙ座標軸であり、上面全体映像が変換されて投
射される投射面のｙ軸を規定する。この投射面は車両の
載置面に対して所定の角度α（０＜α≦９０°）を有す
るように設定されている。また投射面は、視点Ａから所
定の距離ＤＳだけ離れた位置に設定されている。この距
離ＤＳは、ディスプレイ４を介して表示する表示映像の
大きさに応じて決定される。

【００２４】上面座標上の任意の点Ｂを、投射座標に投
射させた点Ｃのｙ座標値Ｃ（ｙ）は 、Ｃ（ｙ）＝−ＤＳ・ｔａｎθ−ＤＳ・ｔａｎω …（１） ＝−ＤＳ（ｔａｎθ＋ｔａｎω）…（２） ＤＳ：視点Ａから投射面までの距離 θ：視点Ａからの見下ろし角度 ω：視点Ａから角度θで見下ろした視線と線分ＡＢのな
す角度 となる。

【００２５】一方、上面座標上の任意の点ＣのＹ座標値
Ｂ（Ｙ）は、 Ｂ（Ｙ）＝｛ｈ／ｓｉｎ（θ＋ω）｝・（ｃｏｓω／ｃｏｓθ）＋ｃ…（３） となる。

【００２６】ｈ：カメラの高さ ｃ：映像のマージン（予め設定された値） （３）式を整理すると、 Ｂ（Ｙ）＝｛ｈ／（ｔａｎθ＋ｔａｎω）｝・（１／ｃｏｓ^２θ）＋ｃ…（４） を満たす。

【００２７】（１）式と（４）式とから、 Ｂ（Ｙ）＝（−ｈ・ＤＳ／ｃｏｓ^２θ）・（１／Ｃ
（ｙ））＋ｃ…（５）を得る。

【００２８】ここで、ｂ＝ｈ・ＤＳ／ｃｏｓ^２θ…
（６）とおけば、（５）式は、 Ｂ（Ｙ）＝（−ｂ／Ｃ（ｙ））＋ｃ…（７） と整理でき、上面全体映像上の点Ｂ（Ｙ）と鳥瞰投射映
像上の点Ｃ（ｙ）との相互の変換式を得ることができ
る。

【００２９】続いて、Ｘ軸方向の変換を図５を参照しつ
つ説明する。Ｘで示された軸は上面全体映像の上面座標
におけるＸ座標軸である。ｘで示された軸は鳥瞰投射映
像の投射座標におけるｘ座標軸である。

【００３０】上面座標上の任意の点Ｂを投射座標に投射
させた投射点Ｃのｘ座標値Ｃ（ｘ）を求める。視点Ａか
ら任意の点Ｂを含む上面座標のＸ軸までの距離ｄと任意
の点ＢのＸ座標値（上面座標）との比は、ＤＳと投射点
Ｃのｘ座標値Ｃ（ｘ）との比に等しい。

【００３１】よって、Ｂ（Ｘ）／ｄ＝Ｃ（ｘ）／ＤＳ…
（８）となる。 ｄは図４の視点Ａと点Ｄ間の距離に相当する。このＡＤ
の距離は、任意の点Ｂと点Ｅ間の距離と同じであり、ｄ
＝（Ｂ（Ｙ）−ｃ）ｃｏｓθで表せる。ｄを代入して、
式を整理すると、 Ｂ（Ｘ）＝（ｃｏｓθ／ＤＳ）・Ｃ（ｘ）・（Ｂ（Ｙ）−ｃ）…（９） （７）式：Ｂ（Ｙ）＝（−ｂ／Ｃ（ｙ））＋ｃを用いて、 Ｂ（Ｘ）＝（ｃｏｓθ／ＤＳ）・Ｃ（ｘ）・（−ｂ／Ｃ（ｙ）） Ｂ（Ｘ）＝−ｂ・（ｃｏｓθ／ＤＳ）・（Ｃ（ｘ）／Ｃ（ｙ））…（１０） ここで、ａ＝ｂ・（ｃｏｓθ／ＤＳ）とおけば、 Ｂ（Ｘ）＝−ａ・（Ｃ（ｘ）／Ｃ（ｙ））…（１１） となり、上面座標上の任意の点Ｂ（Ｘ）を、投射座標上
の点Ｃ（ｘ）へ変換することができる。

【００３２】（７）式、（１１）式の各定数ａ，ｂ，ｃ
に具体的な数値を代入して、Ｂ（Ｘ，Ｙ）から投射座標
上のＣ（ｘ，ｙ）を求める。

【００３３】続いて、この変換部２２の変換の基準とな
る、投射映像の「所定の視点」の設定について図２、図
３を参照しつつ説明する。

【００３４】図２に示すように、所定の視点を、車両１
０の前方を撮像するカメラ１ｃの撮像中心線と前記車両
の前端Ｆとを結んだ線の延長線ｏ上又は当該延長線ｏの
近傍に設定する。さらに、所定の視点を、車両１０の後
方を撮像するカメラ１ｄの撮像中心線と車両１０の後端
Ｂとを結んだ線の延長線ｐ上又は当該延長線ｐの近傍に
設定する。本実施形態は、延長線ｏと延長線ｐとの交点
に視点Ｐ１を設けた。このように視点Ｐ１を直線ｏ上若
しくは直線ｏの近傍又は直線ｐ上若しくは直線ｐの近傍
に設定することにより、車両の前端部分によるカメラ１
ｃの死角領域と視点Ｐ１から見たときの死角領域とのず
れを小さくすることができる。

【００３５】また、図３に示すように、所定の視点を、
車両１０の左方を撮像するカメラ１ｅの撮像中心線と前
記車両の左端Ｌとを結んだ線の延長線ｑ上又は当該延長
線ｑの近傍に設定する。さらに、所定の視点を、車両１
０の右方を撮像するカメラ１ｆの撮像中心線と車両１０
の右端Ｒとを結んだ線の延長線ｒ上又は当該延長線ｒの
近傍に設定する。本実施形態は、延長線ｑと延長線ｒと
の交点に視点Ｐ２を設けた。このように視点Ｐ２を直線
ｑ上若しくは直線ｑの近傍又は直線ｒ上若しくは直線ｒ
の近傍に設定することにより、車両の左端部分によるカ
メラ１ｅの死角領域と視点Ｐ２から見たときの死角領域
とのずれを小さくすることができる。

【００３６】なお、図２の視点Ｐ１と図３の視点Ｐ２と
が同じ位置である場合には問題ないが、もしＰ１とＰ２
が異なる点である場合にはｏ〜ｒの延長線近傍となるＰ
１又はＰ２近傍に設定すればよい。

【００３７】変換部２２にて上面全体映像（全体映像）
から変換された鳥瞰投射映像（投射映像）は、重畳部２
３へ送出される。

【００３８】＜重畳部＞重畳部２３は、受け付けた鳥瞰
投射映像（投射映像）に立体的グラフィックデータ３３
を重畳する。この重畳処理に際して、重畳部２３は所定
の立体的グラフィックデータ３３を記憶部３０から読み
出す。記憶部３０は、所定の視点、又は所定の視点及び
所定の投射面に応じた立体的グラフィックデータ３３を
記憶している。すなわち、ある視点Ｎから見た車両の立
体的グラフィックデータ、ある視点Ｍからある投射面Ｌ
上に見える車両の立体的グラフィックデータ３３を、視
点ごと、視点及び投射面の組み合わせごとに記憶してい
る。よって、重畳部２３は鳥瞰投射映像（投射映像）の
視点、視点及び投射面に応じて、これと同じ視点から見
た車両の立体的グラフィックデータ、同じ視点から同じ
投射面上に見える車両の立体的グラフィックデータを読
み出す。

【００３９】こうして読み出された立体的グラフィック
データを鳥瞰投射映像（投射映像）に視点を基準として
重畳する。所定の視点から車両を見た立体的グラフィッ
クデータは陰を伴う。カメラ１の死角部分が立体的グラ
フィックデータの陰に隠されれば、撮像データの欠けは
表示映像において問題とはならない。よって、重畳され
た立体的グラフィックデータは投射映像上のカメラ１ｃ
〜１ｆの死角を補うことができる。その結果、欠けのな
い車両周辺の表示映像が作成される。

【００４０】また、この表示映像を構成する投射映像と
立体的グラフィックデータは、同じ視点から同じ投射面
へ投射された映像であるため重畳しても映像に歪みがな
い。さらに、立体的グラフィックデータにより車両全体
が立体的に表現されるためユーザは車両の位置を確認し
やすい。特に、カメラ１の死角となりやすい車両の低い
部分をより正確に表示することができる。

【００４１】なお、本実施形態では表示映像作成手段２
に合成部２１、変換部２２、重畳部２３を設け、全体映
像の作成、投射映像への変換、立体的グラフィックデー
タの重畳という処理を実行させるが、以下のようにも変
形することができる。

【００４２】たとえば、表示映像作成手段２は、合成部
２１の合成処理、変換部２２の変換処理、重畳部２３の
重畳処理を一括で処理することができる。

【００４３】また、合成部２１と変換部２２との処理を
一括して処理し、その後、立体的グラフィックデータの
重畳処理を行うことができる。すなわち、撮像データに
基づいて、車両上空の所定の視点から車両を投射した投
射映像を作成し、この投射映像に所定の視点から見た車
両のグラフィックデータを重畳させて表示映像を作成す
ることができる。

【００４４】さらに、合成部２１の合成処理、変換部２
２の変換処理、重畳部２３の重畳処理の順番は限定され
ることなく、撮像データ入力→変換処理（投射映像作
成）→合成処理（全体映像作成）→重畳処理（表示映像
作成）→表示映像出力と処理してもよい。また、変換前
の全体映像に立体的グラフィックデータを先に重畳させ
て、撮像データ入力→合成処理→重畳処理→変換処理→
表示映像出力と処理してもよい。

【００４５】続いて、図６〜図１１を参照しつつ動作に
ついて説明する。図６は本実施形態の動作を説明するた
めのフローチャート図、図７は本実施形態の上面全体映
像（全体映像の一態様）の一例を示す図、図８は本実施
形態の鳥瞰投射映像（投射映像）の一例を示す図、図９
（ａ）（ｂ）は本実施形態の車両の立体的グラフィック
データの例を示す図、図１０は本実施形態の表示映像の
一例を示す図、図１１は立体的グラフィックデータがカ
バーする死角の範囲を説明するための図である。

【００４６】図６に示すように、車両用映像表示装置１
００が起動すると（ステップ１）、複数のカメラ１のそ
れぞれが車両及び車両周辺の映像を撮像する（ステップ
２）。カメラ１は、撮像した撮像データを表示映像作成
手段２へ送出する（ステップ３）。

【００４７】表示映像作成手段２の合成部２１は撮像デ
ータと記憶部３０から読み出したカメラ情報３１とに基
づいて、車両周辺の上面全体映像を合成する（ステップ
４）。合成部２１が合成した上面全体映像の一例を図７
に示した。図７に示すように本例の全体映像は車両上空
の無限遠から車両を略垂直に見下ろした上面全体映像
（全体映像）である。図７の死角エリア１０１は、上面
全体映像（全体映像）では見えるはずであるが撮像デー
タがない部分である。この部分は、視点の変更に伴い死
角がずれてしまい、鳥瞰投射映像では映し出されるはず
の撮像データがカメラ１の死角に属してしまった部分で
ある。自車両１０の部分は、カメラ１が撮像できないカ
メラ１の位置よりも高い位置の車両の映像である。

【００４８】合成された上面全体映像（全体映像）は、
変換部３２へ送られる。情報を受け付けた変換部２２
は、記憶部３０から座標変換式３２を読み出す（ステッ
プ５）。合成部２１から取得した上面全体映像（全体映
像）を、座標変換式３２に基づいて、車両上空の所定の
視点から所定の投射面に投射させた鳥瞰投射映像（投射
映像）へ変換する（ステップ６）。この鳥瞰投射映像
（投射映像）の一例を図８に示した。図８に示す映像は
車両上空の斜め上方の所定の視点から所定の投射面へ向
かって車両を見下ろした鳥瞰投射映像（投射映像）であ
る。自車両１０のエリアとカメラの死角エリア１０１
は、先述した撮像データが得られない部分である。

【００４９】重畳部２３は、記憶部３０から立体的グラ
フィックデータ３３を読み出す（ステップ７）。立体的
グラフィックデータ３３の例を図９（ａ）（ｂ）に示し
た。図９（ａ）の立体的グラフィックデータ３３１は、
車両上空の進行方向左側の後方の所定の視点から所定の
投射面に投射したものである。図９（ｂ）の立体的グラ
フィックデータ３３２は、車両上空の進行方向の後方の
所定の視点から所定の投射面上（図１１の投射面３３２
ｂに相当）に見える車両である。

【００５０】重畳部２３は、変換部２２から取得した投
射映像に、記憶部３０から読み出した立体的グラフィッ
クデータ３３を重畳して表示映像を作成する（ステップ
９）。作成された表示映像の一例を図１０に示した。図
１０に示すように、図７及び図８で示した死角エリア１
０１は、重畳された立体的グラフィックデータ３３によ
り補われている。

【００５１】図１１は、鳥瞰変換映像（変換映像）に立
体的グラフィックデータ３３を重畳させた様子を示す。
範囲１０２は鳥瞰変換映像上の自車両１０を示す。重畳
させられているのは、所定の視点から所定の投射面上３
３２に見える車両の立体的グラフィックデータ３３２ａ
（図９（ｂ）参照）である。投射面３３２に投射された
車両の範囲１０２が立体的グラフィックデータ３３２ａ
の陰に隠されている。この車両の範囲１０２と立体的グ
ラフィックデータ３３２ａの投射範囲との差が、立体的
グラフィックデータ３３２ａの重畳により補うことがで
きる範囲である。この補われる範囲には、図７及び図８
で示した死角エリア１０１が含まれている。

【００５２】この実施形態は、以下の効果を奏する。鳥
瞰投射映像（投射映像）に立体的グラフィックデータを
重畳させることにより、車両に設けられたカメラ１の死
角となって得ることのできない撮像データの部分を補っ
た表示映像を作成することができる。

【００５３】また、重畳させるデータが立体的に車両を
表現した立体的グラフィックデータ３３であるため、表
示映像において遠近感を含めた実際の車両の形を示すこ
とができる。すなわち、本実施形態で示される表示映像
によれば、車両上空から実際に車両を見下ろしたかのよ
うに、車両の高さ方向の立体感を表現することができ
る。さらに、カメラ１の死角となりやすいタイヤ周囲、
リヤバンパー周囲、フロントバンパー周囲、シルアウタ
ー周囲等の車両の近傍の映像も表示することができる。

【００５４】尤も、このカメラ１の死角となるのは車両
近傍のエリアであるから、撮像データの欠けをカバーす
るために、車両の映像を大きくして表示するという手法
もある。しかし、実際の大きさとは異なる車両が表示さ
れることとなるため、距離感に違和感が生じてしまう。
これに対して本実施形態では、鳥瞰投射映像（投射映
像）の視点から見た車両の立体的グラフィックデータ３
１を重畳するため、距離感に違和感を生じさせることが
ない。

【００５５】特に、鳥瞰投射映像（投射映像）の視点の
位置と、立体的グラフィックデータ３３の視点の位置を
同じ位置としたため、立体的グラフィックデータ３３の
車両は鳥瞰投射映像（投射映像）の視点位置からの見え
方と略一致する。このため、立体的グラフィックデータ
３３が重畳された表示映像は、鳥瞰投射映像（投射映
像）の視点から撮像したかのように、車両及び車両周辺
の映像をより正確に表示することができる。

【００５６】加えて、立体的グラフィックデータ３３
が、所定の視点から鳥瞰投射映像（投射映像）の投射面
上に見える車両を表現する場合には、鳥瞰投射映像（投
射映像）の縮尺と立体的グラフィックデータ３３との縮
尺とが同じとなるため、さらに正確性の高い車両及び車
両周辺の映像を表示することができる。

【００５７】なお、鳥瞰投射映像（投射映像）の投射面
が車両の載置面に対して所定の角度α（０＜α≦９０
°）をなす場合には、鳥瞰投射映像（投射映像）や立体
的グラフィックデータ３３の歪み（例えば、撮像中心軸
から離れるに従って縮尺が拡大されてしまうような歪
み）を抑制して、車両周辺の映像を表示することができ
る。

【００５８】本実施形態では車両用映像表示装置につい
て説明したが、本発明の車両用映像表示方法を使用した
場合又は車両の映像表示用プログラムにより動作するコ
ンピュータも同様に作用し、同様の効果を奏する。

【００５９】なお、以上説明した実施形態は、本発明の
理解を容易にするために記載されたものであって、本発
明を限定するために記載されたものではない。したがっ
て、上記の実施形態に開示された各要素は、本発明の技
術的範囲に属する全ての設計変更や均等物をも含む趣旨
である。

【図面の簡単な説明】

【図１】本発明の車両用映像表示装置の実施形態を示す
ブロック図である。

【図２】本実施形態のカメラの位置、視点の位置を説明
するための第１の図である。

【図３】本実施形態のカメラの位置、視点の位置を説明
するための第２の図である。

【図４】上面全体映像から鳥瞰投射映像への変換処理を
説明するための第１の図である。

【図５】上面全体映像から鳥瞰投射映像への変換処理を
説明するための第２の図である。

【図６】本実施形態の動作を説明するためのフローチャ
ート図である。

【図７】本実施形態の上面全体映像の一例を示す図であ
る。

【図８】本実施形態の鳥瞰投射映像の一例を示す図であ
る。

【図９】図９（ａ）（ｂ）は、車両の立体的グラフィッ
クデータの例を示す図である。

【図１０】本実施形態の表示映像の一例を示す図であ
る。

【図１１】立体的グラフィックデータの重畳を説明する
ための図である。

【符号の説明】 １００…車両用映像表示装置 １，１ａ，１ｂ，１ｃ，１ｄ・・・１ｆ，…カメラ ２…表示映像作成手段、ＣＰＵ ２１…合成部 ２２…変換部 ２３…重畳部 ３０…記憶部、ＲＡＭ、ＲＯＭ ３１…カメラ情報 ３２…座標変換式 ３３，３３１，３３２…立体的グラフィックデータ ４…ディスプレイ（表示手段） １０…自車両 １０１…カメラの死角範囲 ２０…他車両

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 3/00 １００ Ｇ０６Ｔ 3/00 １００ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ (72)発明者 山本 泰秀 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 Ｆターム(参考） 5B050 AA10 BA06 BA08 BA09 BA11 DA07 EA13 EA19 EA27 FA02 5B057 AA16 BA02 CA08 CA12 CA13 CA16 CA17 CB08 CB12 CB16 CD11 CD14 CE08 5C054 AA01 AA05 CA04 CC02 FA00 FD02 FE13 GB16 HA30

Claims (17)

【特許請求の範囲】
1. 【請求項１】車両に設けられ、当該車両の周辺を撮像す
   る複数のカメラと、 前記各カメラにより撮像された撮像データに基づいて、
   前記車両上空の所定の視点から前記車両を投射した投射
   映像を作成し、当該作成された投射映像に前記所定の視
   点から見た車両の立体的グラフィックデータを重畳させ
   た表示映像を作成する表示映像作成手段と、 前記表示映像作成手段により作成された表示映像を表示
   する表示手段と、を有する車両用映像表示装置。
2. 【請求項２】前記表示映像作成手段は、前記各カメラに
   より撮像された撮像データに基づいて、前記車両上空の
   所定の視点から前記車両の載置面に対して所定の角度α
   （０＜α≦９０°）をなす所定の投射面へ投射される前
   記車両の投射映像を作成し、当該作成された投射映像に
   前記所定の視点から前記所定の投射面上に見える車両の
   立体的グラフィックデータを重畳させた表示映像を作成
   する請求項１記載の車両用映像表示装置。
3. 【請求項３】前記表示映像作成手段は、 前記各カメラにより撮像された撮像データから前記車両
   周辺の全体映像を合成する合成部と、 前記合成部により合成された全体映像を、前記車両上空
   の所定の視点から前記車両の載置面に対して所定の角度
   α（０＜α≦９０°）をなす所定の投射面に投射した投
   射映像へ変換する変換部と、 予め記憶され、前記所定の視点から前記車両の載置面に
   対して所定の角度α（０＜α≦９０°）をなす前記所定
   の投射面上に見える車両の立体的グラフィックデータ
   を、前記変換部にて変換された投射映像に重畳する重畳
   部とを有する請求項１又は２記載の車両用映像表示装
   置。
4. 【請求項４】前記表示映像作成手段は、 前記各カメラにより撮像された撮像データを前記車両上
   空の所定の視点から前記車両の載置面に対して所定の角
   度α（０＜α≦９０°）をなす所定の投射面に投射した
   投射映像へ変換する変換部と、 前記変換部により変換された投射映像から前記車両周辺
   の全体映像を合成する合成部と、 予め記憶され、前記所定の視点から前記車両の載置面に
   対して所定の角度α（０＜α≦９０°）をなす前記所定
   の投射面上に見える車両の立体的グラフィックデータ
   を、前記合成部にて合成された全体映像に重畳する重畳
   部とを有する請求項１又は２記載の車両用映像表示装
   置。
5. 【請求項５】前記視点は、前記車両の前方を撮像するカ
   メラの撮像中心線と前記車両の前端とを結んだ線の延長
   線上又は当該延長線の近傍に設定された請求項１〜４の
   何れかに記載の車両用映像表示装置。
6. 【請求項６】前記視点は、前記車両の後方を撮像するカ
   メラの撮像中心線と前記車両の後端とを結んだ線の延長
   線上又は当該延長線の近傍に設定された請求項１〜５の
   何れかに記載の車両用映像表示装置。
7. 【請求項７】前記視点は、前記車両の左方を撮像するカ
   メラの撮像中心線と前記車両の左端とを結んだ線の延長
   線上又は当該延長線の近傍に設定された請求項１〜６の
   何れかに記載の車両用映像表示装置。
8. 【請求項８】前記視点は、前記車両の右方を撮像するカ
   メラの撮像中心線と前記車両の右端とを結んだ線の延長
   線上又は当該延長線の近傍に設定された請求項１〜７の
   何れかに記載の車両用映像表示装置。
9. 【請求項９】車両に設けられた複数のカメラにより撮像
   された当該車両の周辺の撮像データに基づいて、前記車
   両上空の所定の視点から前記車両を投射した投射映像を
   作成し、 予め記憶された、前記所定の視点から見た車両の立体的
   グラフィックデータを、前記投射映像に重畳して表示す
   る車両用映像表示方法。
10. 【請求項１０】車両搭載のコンピュータに、 車両に設けられた複数のカメラにより撮像された当該車
    両の周辺の撮像データを取得させるステップと、 前記取得した撮像データに基づいて、前記車両上空の所
    定の視点から前記車両を投射した投射映像を作成させ、
    当該投射映像に前記所定の視点から見た車両の立体的グ
    ラフィックデータを重畳させて表示映像を作成させるス
    テップと、 前記表示映像を表示手段へ出力させるステップと、 を実行させるための車両の映像表示用プログラム。
11. 【請求項１１】前記表示映像を作成するステップは、 前記取得した撮像データに基づいて、前記車両上空の所
    定の視点から前記車両の載置面に対して所定の角度α
    （０＜α≦９０°）をなす所定の投射面へ投射された前
    記車両の投射映像を作成させ、当該投射映像に前記所定
    の視点から前記車両の載置面に対して所定の角度α（０
    ＜α≦９０°）をなす前記所定の投射面上に見える車両
    の立体的グラフィックデータを重畳して表示映像を作成
    させる請求項１０記載の車両の映像表示用プログラム。
12. 【請求項１２】前記表示映像を作成するステップは、 前記撮像データから前記車両周辺の全体映像を合成させ
    るステップと、 前記全体映像を、前記車両上空の所定の視点から前記車
    両の載置面に対して所定の角度α（０＜α≦９０°）を
    なす所定の投射面に投射される投射映像へ変換させるス
    テップと、 予め記憶され、前記所定の視点から前記車両の載置面に
    対して所定の角度α（０＜α≦９０°）をなす前記所定
    の投射面上に見える車両の立体的グラフィックデータ
    を、前記変換された投射映像に重畳させるステップとを
    含む請求項１０又は１１記載の車両の映像表示用プログ
    ラム。
13. 【請求項１３】前記表示映像を作成するステップは、 前記撮像データを前記車両上空の所定の視点から前記車
    両の載置面に対して所定の角度α（０＜α≦９０°）を
    なす所定の投射面に投射される投射映像へ変換させるス
    テップと、 前記変換された投射映像から前記車両周辺の全体映像を
    合成させるステップと、 予め記憶され、前記所定の視点から前記車両の載置面に
    対して所定の角度α（０＜α≦９０°）をなす所定の投
    射面上に見える車両の立体的グラフィックデータを、前
    記合成された全体映像に重畳させるステップとを含む請
    求項１０又は１１記載の車両の映像表示用プログラム。
14. 【請求項１４】前記視点は、前記車両の前方を撮像する
    カメラの撮像中心線と前記車両の前端とを結んだ線の延
    長線上又は当該延長線の近傍に設定された請求項１０〜
    １３の何れかに記載の車両の映像表示用プログラム。
15. 【請求項１５】前記視点は、前記車両の後方を撮像する
    カメラの撮像中心線と前記車両の後端とを結んだ線の延
    長線上又は当該延長線の近傍に設定された請求項１０〜
    １４の何れかに記載の車両の映像表示用プログラム。
16. 【請求項１６】前記視点は、前記車両の左方を撮像する
    カメラの撮像中心線と前記車両の左端とを結んだ線の延
    長線上又は当該延長線の近傍に設定された請求項１０〜
    １５の何れかに記載の車両の映像表示用プログラム。
17. 【請求項１７】前記視点は、前記車両の右方を撮像する
    カメラの撮像中心線と前記車両の右端とを結んだ線の延
    長線上又は当該延長線の近傍に設定された請求項１０〜
    １６の何れかに記載の車両の映像表示用プログラム。