JP2017119485A - 車両用表示装置および車両用表示方法 - Google Patents

Abstract

【課題】俯瞰画像に表示される物体までの距離を正確に反映する技術を提供する。【解決手段】画像取得部５２は、車両の周辺を撮像した画像を取得する。距離取得部５４は、画像取得部５２において取得した画像に含まれた第１の物体と車両との第１の距離を取得する。生成部６４は、距離取得部５４において取得した第１の距離に応じて、画像取得部５２において取得した画像に含まれた第１の物体の下方に位置する第２の物体の少なくとも一部を遮蔽した状態となるように、車両の上方から見たように視点を変換した俯瞰画像を生成する。表示処理部６０は、生成部６４において生成した俯瞰画像を表示部６２に表示させる。【選択図】図３

Description

本発明は、車両用表示技術に関し、特に画像を表示する車両用表示装置および車両用表示方法に関する。

車両の複数個所にカメラを設置する場合がある。その際、撮影された画像を視点変換して合成することによって、俯瞰画像が生成される（例えば、特許文献１参照）。

特開２０１２−２１７０００号公報

視点変換では、上下方向の位置の差がある物体間の距離を正確に表すことができず、違和感を生じたり、物体までの距離を正確に把握できなかったりする場合がある。例えば、複数の車両を並べて駐車する駐車場において、後退により駐車区画への駐車を行う場合、後方の車両の端部直下に駐車枠線があっても、視点変換を行った画像では、枠線と後方の車両には距離があるように見えてしまう。このような場合、後方の車両の端部直下の枠線が、自車の駐車範囲を示す枠線である場合、後方にある車両までの距離が適切に把握できない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、俯瞰画像に表示される物体までの距離を正確に反映する技術を提供することである。

上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した画像を取得する画像取得部と、画像取得部において取得した画像に含まれた第１の物体と車両との第１の距離を取得する距離取得部と、距離取得部において取得した第１の距離に応じて、画像取得部において取得した画像に含まれた第１の物体の下方に位置する第２の物体の少なくとも一部を遮蔽した状態となるように、車両の上方から見たように視点を変換した俯瞰画像を生成する生成部と、生成部において生成した俯瞰画像を表示部に表示させる表示処理部と、を備える。

本発明の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した画像を取得するステップと、取得した画像に含まれた第１の物体と車両との第１の距離を取得するステップと、取得した第１の距離に応じて、取得した画像に含まれた第１の物体の下方に位置する第２の物体の少なくとも一部を遮蔽した状態となるように、車両の上方から見たように視点を変換した俯瞰画像を生成するステップと、生成した俯瞰画像を表示部に表示させるステップと、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、俯瞰画像に表示される物体までの距離を正確に反映できる。

本発明の実施例１に係る車両の周辺に形成される撮像範囲を示す斜視図である。 図２（ａ）−（ｂ）は、本発明の実施例の比較対象における処理の概要を示す図である。 本発明の実施例１に係る車両用表示装置の構成を示す図である。 図３の後方撮像部において撮像された画像を示す図である。 図５（ａ）−（ｂ）は、図３の車両用表示装置における処理の概要を示す図である。 図３の画像処理部において処理された画像を示す図である。 図７（ａ）−（ｂ）は、図３の車両用表示装置における別の処理の概要を示す図である。 図３の車両用表示装置における処理の概要を示す図である。 図９（ａ）−（ｂ）は、図３の車両用表示装置における処理の概要を示す図である。 図１０（ａ）−（ｂ）は、図３の車両用表示装置における処理の概要を示す図である。 図３の車両用表示装置による表示手順を示すフローチャートである。 図３の車両用表示装置による別の表示手順を示すフローチャートである。 本発明の実施例２に係る車両用表示装置の構成を示す図である。 図１３の車両用表示装置における処理の概要を示す図である。

（実施例１）
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例１は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。複数の車両を並べて駐車する駐車場において後退により駐車区画への駐車を行う場合、後方の他車両の端部直下に描画された駐車枠線は、上方から見ると他車両の下方に遮蔽されて見えないはずである。しかしながら、視点変換によって生成した俯瞰画像において、駐車枠線が他車両に遮蔽されず、本車両側に近づいて配置されることがある。そのため、運転者には、駐車枠線からさらに離れて、後方の他車両が存在するように見えてしまい、後方にある他の車両までの距離が適切に把握できない。

これに対応するために、本実施例に係る車両用表示装置は、車両の設置された複数の撮像部において撮像した車両周辺画像から他車両のような物体を検出するとともに、検出した物体までの距離を取得する。また、車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で遮蔽させる処理を行う。さらに、車両用表示装置は、駐車枠線を隠した画像に対して、視点変換を実行することによって俯瞰画像を生成し、生成した俯瞰画像を表示する。

以下、本発明の実施例について、図面を参照しつつ説明する。かかる実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。

図１は、本発明の実施例１に係る車両１００の周辺に形成される撮像範囲を示す斜視図である。車両１００の前方部分、例えばバンパー、ボンネット等には、前方撮像部１２が設置される。前方撮像部１２は、前方撮像部１２から前方に向かうように前方撮像領域２０を形成し、前方撮像領域２０において画像を撮像する。車両の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、左側方撮像部１４から左方に向かうように左側方撮像領域２２を形成し、左側方撮像領域２２において画像を撮像する。

車両の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、後方撮像部１６から後方に向かうように後方撮像領域２４を形成し、後方撮像領域２４において画像を撮像する。左側方撮像部１４と左右対称になるように、車両の右側部分には、図示しない右側方撮像部１８が設置される。右側方撮像部１８は、右側方撮像部１８から右方に向かうように、右側方撮像領域２６を形成し、右側方撮像領域２６において画像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した画像によって、車両１００の周辺が撮像される。

図２（ａ）−（ｂ）は、本発明の実施例の比較対象における処理の概要を示す。比較対象では、図１に示すように、車両１００に設置された撮像部１０において画像を撮像する場合を想定する。特に、比較対象では、画像に対する視点変換により俯瞰画像を生成するための処理が、これまでなされていた処理に相当する。図２（ａ）は、図１の車両１００を左側方から見た場合を示す。前述のごとく、車両１００の後方部分には後方撮像部１６が設置されている。また、車両１００の後方には、他車両１１０が駐車あるいは停車している。さらに、地面には枠線３０が描画されており、枠線３０は、他車両１１０の前方端部の下に存在する。そのため、車両１００、他車両１１０を上方から見下ろした場合、枠線３０は他車両１１０に遮蔽される。一方、後方撮像部１６は、車両１００の上方ではない位置から斜めに他車両１１０および枠線３０を撮像しているので、後方撮像部１６によって撮像された画像には、他車両１１０の前方端部、枠線３０が含まれる。

図２（ｂ）は、撮像部１０において撮像した画像に対して、視点変換を実行して生成した俯瞰画像４８を示す。前述のごとく、俯瞰画像４８を生成するための処理には、これまでなされていた処理が実行されている。俯瞰画像４８の中央部分には、車両１００が配置される。車両１００の前方には前方画像４０が配置され、車両１００の左側方には左側方画像４２が配置され、車両１００の後方には後方画像４４が配置され、車両１００の右側方には右側方画像４６が配置される。特に、後方画像４４は、図２（ａ）における撮像範囲３２を撮像した画像をもとに生成されている。そのため、後方画像４４では、車両１００の後方に他車両１１０が配置されるとともに、車両１００と他車両１１０との間に枠線３０が配置される。つまり、本来、他車両１１０に遮蔽されるはずの枠線３０が、他車両１１０に遮蔽されなくなり、俯瞰画像４８と実際の状況とが異なる。

図３は、本発明の実施例１に係る車両用表示装置５０の構成を示す。車両用表示装置５０は、撮像部１０を構成する前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８に接続される。車両用表示装置５０は、画像取得部５２、距離取得部５４、生成部６４、表示処理部６０、表示部６２を含む。生成部６４は、画像処理部５６、視点変換処理部５８を含む。

前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、画像を撮像する。画像は動画像であるが、静止画像であってもよい。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、画像を画像取得部５２に出力する。

画像取得部５２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから画像を入力する。つまり、画像取得部５２は、車両１００の周辺を撮像した画像を取得する。図４は、後方撮像部１６において撮像された画像の例を示す。図４に示す画像の例は、説明を容易にするために、撮像部１０の各々が広角撮像可能なカメラであることによる画像の歪みは表していない。ここで、図２（ａ）のごとく、車両１００の後方に他車両１１０が駐車しており、他車両１１０の下方の地面に枠線３０が描写されているとする。画像には、他車両１１０と枠線３０とが含まれている。図３に戻る。画像取得部５２は、取得した画像を生成部６４に出力する。

距離取得部５４は、第１の物体と車両１００との距離を取得する。距離取得部５４において距離を取得する対象となる物体は、例えば、他車両１１０である。距離取得部５４は、物体との距離を検出する方向に存在する物体までの距離を常時取得していてもよく、画像処理部５６により第１の物体が検出されたときに、第１の物体を検出対象として動作してもよい。物体との測距には、公知の技術が使用されればよいが、例えば、ステレオ測距、二眼カメラが使用される。これは、複数の光学系間に生じる視差を算出し、視差をもとに、物体までの距離を測定する。この場合、後方撮像部１６には、複数の光学系が備えられる。また、物体との測距に、距離センサが使用されてもよい。図示しない距離センサが、後方撮像部１６の近傍に備えられており、距離センサは、赤外光やレーザ光などを物体に照射してから、その反射光を受光することによって、結像位置情報から距離を算出する。距離センサには、ミリ波などを用いてもよい。

また、距離取得部５４は、物体との測距に、画像取得部５２から取得した画像を用いたベクトル検出処理を適用してもよい。ベクトル検出処理は、画像中の特定点を検出するとともに、特定点のベクトル移動量を算出することによって、物体との距離を測定する。図５（ａ）−（ｂ）は、車両用表示装置５０における処理の概要を示す。図５（ａ）は、図２（ａ）と同様に示される。距離取得部５４は、第１の距離として距離「ｄ１」を測定する。図５（ｂ）は後述し、図３に戻る。距離取得部５４は、取得した第１の距離を画像処理部５６に出力する。

画像処理部５６は、画像取得部５２から画像を入力する。以下では、説明を明瞭にするために、後方撮像部１６において撮像した画像に対する処理を説明するが、他の画像に対しても同様の処理がなされればよい。画像処理部５６は、画像に対して、エッジ検出処理を実行する。エッジ検出処理は、特徴検出や特徴抽出の一種であり、画像の明るさが不連続に変化している箇所を特定するためのアルゴリズムである。画像処理部５６は、画像に含まれた第１の物体、例えば他車両１１０を検出する。また、画像処理部５６は、同様に画像に含まれた第２の物体、例えば、枠線３０も検出する。なお、エッジ検出処理は公知の技術であるので、ここでは詳細な説明を省略する。ここでいう枠線３０は、一般的には路面に描画された白線であり、撮像した画像に基づく公知の白線検出技術が適用可能である。また、枠線３０ではなく縁石である場合も同様である。

また、画像処理部５６は、検出した第１の物体と第２の物体の位置関係も取得する。画像処理部５６は、検出した第１の物体および第２の物体に関する情報をもとに、第２の物体が第１の物体の下方に存在するか否かを判定する。図４の場合、第２の物体である枠線３０が、第１の物体である他車両１１０の下方に存在する。つまり、画像処理部５６は、画像上において、第２の物体の位置が第１の物体の下方であり、かつその間の画素数で表される第２の距離が第２のしきい値より短い場合、第２の物体が第１の物体の下方に存在すると判定する。第２の物体が第１の物体の下方に存在する判断においては、第２の物体が撮像方向に直交して配置されていることを条件に加えてもよい。図４の場合、第２の物体である枠線３０の画面横方向に延びている部分を対象とする。第２の物体が第１の物体の下方に存在する場合、画像処理部５６は、下記の処理を実行する。

画像処理部５６は、車両１００と第１の物体との距離に対する第１のしきい値を予め保持しており、距離取得部５４から入力した第１の距離と第１のしきい値とを比較する。例えば、図５（ａ）に示した第１の距離である距離ｄ１が第１のしきい値よりも短い場合に、画像処理部５６は、画像に含まれかつ第１の物体の下方に位置する第２の物体を遮蔽した状態とする処理を行う。具体的に説明すると、画像処理部５６は、第１の物体の外形を切り出してから、第２の物体に重ねて貼り付ける。その結果が、図６であり、図６は、画像処理部５６において処理された画像を示す。このように、枠線３０の一部が遮蔽されるように、他車両１１０は枠線３０に重ねられる。ここで、画像処理部５６は、枠線３０よりも本車両１００に近づけるように、他車両１１０の外形を貼り付ける。図３に戻る。画像処理部５６は、画像を視点変換処理部５８に出力する。

視点変換処理部５８は、画像処理部５６から画像を入力する。視点変換処理部５８は、画像に対して、車両１００の上方から見たように視点を変換することによって俯瞰画像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。視点を変換した画像の一例が、図５（ｂ）である。図５（ｂ）における俯瞰画像７８の中央部分には、車両１００が配置される。車両１００の前方には前方画像７０が配置され、車両１００の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。特に、後方画像７４では、枠線３０の上から重なるように他車両１１０が示されており、枠線３０の一部が他車両１１０に遮蔽された状態となる。

図７（ａ）−（ｂ）は、車両用表示装置５０における別の処理の概要を示す。図７（ａ）は、図５（ａ）と同様に示されるが、これらにおいて、車両１００と他車両１１０との距離が異なっており、枠線３０は、他車両１１０の前方端部の下に存在しない。図７（ａ）では、車両１００と他車両１１０は、第１の距離として距離ｄ２だけ離れている。ここで、距離ｄ２は、距離ｄ１よりも長く、第１のしきい値以上である。そのため、画像処理部５６において、他車両１１０は移動されず、枠線３０は遮蔽されない。図７（ｂ）における俯瞰画像７８は、図５（ｂ）と同様に示されるが、後方画像７４において、車両１００と他車両１１０との間に枠線３０が含まれる。図３に戻る。視点変換処理部５８は、変換した画像である俯瞰画像７８を表示処理部６０に出力する。

表示処理部６０は、視点変換処理部５８から俯瞰画像７８を入力する。表示処理部６０は、俯瞰画像７８を表示部６２に表示させる。表示部６２は、図５（ｂ）、図７（ｂ）のような俯瞰画像７８を表示する。

画像処理部５６が、第２の物体が第１の物体の下方に存在することを判定するために第２の距離を求める処理を具体的に説明する。画像処理部５６は、第１の物体、第２の物体に関する情報をもとに、第１の物体と第２の物体との間の画素数を特定する。また、画像処理部５６は、画像の画角情報を用い距離取得部５４が取得した第１の距離に基づく画素数と実際の距離との関係を導出する。画像処理部５６は、第１の物体と第２の物体との間の特定した画素数と画角とをもとに、第１の物体と第２の物体との間の第２の距離を導出する。導出された第２の距離は、図５（ａ）において距離ｄ３と示され、図７（ａ）において距離ｄ４と示される。

画像処理部５６は、前述の第１のしきい値とは別の第２のしきい値を予め保持しており、導出した第２の距離と第２のしきい値とを比較する。第２の距離が第２のしきい値よりも短い場合に、画像処理部５６は、画像に含まれた模様などの第２の物体がであって、かつ第１の物体の下方に位置する第２の物体を遮蔽した状態とする処理を行う。図５（ａ）における距離ｄ３は第２のしきい値よりも短く、図７（ａ）における距離ｄ４は第２のしきい値以上である。そのため、これまでと同様に、画像処理部５６は、図５（ａ）における枠線３０に他車両１１０を重ね、図７（ａ）において他車両１１０を移動させない。

図８は、車両用表示装置５０における処理の概要を示す。これは、図５（ａ）、図７（ａ）と同様に示される。図８において、例えば、撮像部高８０は５００ｍｍに設定され、車間８２は７００ｍｍに設定され、他車後下端部地上高９０は１５０ｍｍに設定され、枠線３０の幅は１００ｍｍに設定される。また、枠線手前端８４は、枠線３０のうちの最も車両１００に近い部分であり、枠線奥側端８６は、枠線３０のうちの最も車両１００から遠い部分である。他車後下端部８８は、他車両１１０において、車両１００側の下端である。さらに、車両１００の高さ方向における後方撮像部１６の向きは−４５度に設定され、撮像範囲３２、つまり画角は±２５度に設定される。

このような状況下において、後方撮像部１６において撮像した画像の縦方向の画素数を「１０８０」であるとした場合、画像の上端から他車後下端部８８までの画素数は「１４２」になる。図９（ａ）−（ｂ）は、車両用表示装置５０における処理の概要を示す。図９（ａ）の左側は、枠線３０の枠線手前端８４が、他車後下端部８８よりも２００ｍｍだけ車両１００（図示せず）から離れている場合を示す。その際、画像の上端から枠線奥側端８６までの画素数は「１４２」であり、画像の上端から枠線手前端８４までの画素数は「１９６」であるので、他車後下端部８８と枠線奥側端８６との間の画素数は「０」になる。この場合の俯瞰画像は、右側に示されるように、枠線３０は他車両１１０に遮蔽されていないので、他車両１１０の移動が必要になる。

図９（ｂ）の左側は、枠線３０の枠線手前端８４が、他車後下端部８８よりも１００ｍｍだけ車両１００（図示せず）から離れている場合を示す。その際、画像の上端から枠線奥側端８６までの画素数は「１９６」であり、画像の上端から枠線手前端８４までの画素数は「２５９」であるので、他車後下端部８８と枠線奥側端８６との間の画素数は「５４」になる。この場合の俯瞰画像は、右側に示されるように、枠線３０は他車両１１０に遮蔽されていないので、他車両１１０の移動が必要になる。

図１０（ａ）−（ｂ）は、車両用表示装置５０における処理の概要を示す。図１０（ａ）の左側は、枠線３０の枠線手前端８４が、他車後下端部８８に合っている場合を示す。その際、画像の上端から枠線奥側端８６までの画素数は「２５９」であり、画像の上端から枠線手前端８４までの画素数は「３３６」であるので、他車後下端部８８と枠線奥側端８６との間の画素数は「１１７」になる。この場合の俯瞰画像は、右側に示されるように、枠線３０は他車両１１０に遮蔽されていないので、他車両１１０の移動が必要になる。

図１０（ｂ）の左側は、枠線３０の枠線手前端８４が、他車後下端部８８よりも１００ｍｍだけ車両１００（図示せず）に近い場合を示す。その際、画像の上端から枠線奥側端８６までの画素数は「３３６」であり、画像の上端から枠線手前端８４までの画素数は「４２８」であるので、他車後下端部８８と枠線奥側端８６との間の画素数は「１９４」になる。この場合の俯瞰画像は、右側に示されるように、枠線３０は他車両１１０に隠されていないが、他車両１１０の移動が不要である。図９（ａ）−（ｂ）、図１０（ａ）−（ｂ）をまとめると、画像処理部５６における第２のしきい値は、「１２０」前後に設定される。

画像処理部５６における２種類の処理を説明したが、いずれにおいても第２のしきい値は、固定値とされている。一方、第２のしきい値は、後方撮像部１６等が取り付けられた位置に応じて設定されてもよい。つまり、画像処理部５６は、後方撮像部１６等の地面からの高さに応じて、第２のしきい値を設定してもよい。後方撮像部１６等の高さが高くなるほど、後方撮像部１６等において撮像される画像と、車両１００の上方から見た画像とが近くなる。その場合、実際は他車両１１０の下に枠線３０が存在しているにもかかわらず、視点変換すると、車両１００と他車両１１０との間に枠線３０が示されているような状況が発生しにくくなる。そのため、他車両１１０がされにくくなるように第２のしきい値が調節されるべきである。これらを考慮して、距離取得部５４は、後方撮像部１６等の高さが高くなるほど、短くなるような第２のしきい値を設定する。例えば、後方撮像部１６等を車両１００に取り付ける際に、外部から第２のしきい値が設定される。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による車両用表示装置５０の動作を説明する。図１１は、車両用表示装置５０による表示手順を示すフローチャートである。距離取得部５４は、第１の物体である後方の他車両１１０との距離を第１の距離として取得する（Ｓ１０）。第１の距離が第１のしきい値よりも短ければ（Ｓ１２のＹ）、画像処理部５６は、他車両１１０を移動する処理を実行する（Ｓ１４）。一方、第１の距離が第１のしきい値よりも短くなければ（Ｓ１２のＮ）、ステップＳ１６へ推移する。視点変換処理部５８は、画像の視点を変換する（Ｓ１６）。表示処理部６０は、表示部６２に画像を表示させる（Ｓ１８）。

図１２は、車両用表示装置５０による別の表示手順を示すフローチャートである。距離取得部５４は、第１の物体である後方の他車両１１０との距離を第１の距離として取得する（Ｓ５０）。画像処理部５６は、第１の物体である後方の他車両１１０と第２の物体である枠線３０との間の距離を第２の距離として導出する（Ｓ５２）。第２の距離が第２のしきい値よりも短ければ（Ｓ５４のＹ）、画像処理部５６は、他車両１１０を移動する処理を実行する（Ｓ５６）。一方、第２の距離が第２のしきい値よりも短くなければ（Ｓ５４のＮ）、ステップＳ５８へ推移する。視点変換処理部５８は、画像の視点を変換する（Ｓ５８）。表示処理部６０は、表示部６２に画像を表示させる（Ｓ６０）。

本実施例によれば、他車両との距離に応じて、他車両の下方に位置する枠線を遮蔽して俯瞰画像を生成するので、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことを回避できる。また、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことが回避されるので、実際の状況に近い俯瞰画像を表示することができる。また、実際の状況に近い俯瞰画像を表示するため物体までの距離を正確に把握することができる。また、他車両との距離としきい値とを比較するだけなので、処理を簡易にできる。また、他車両と枠線との間の距離としきい値とを比較するので、処理の精度を向上できる。また、物体の外形を切り出してから、模様に重ねて貼り付けるので、処理を簡易にできる。また、模様よりも本車両に近づけて、物体の外形を貼り付けるので、衝突の危険性を低減できる。

（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。実施例１に係る車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で隠してから、視点変換を実行することによって俯瞰画像を生成している。一方、実施例２では、視点変換を実行することによって俯瞰画像を生成してから、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で遮蔽する。つまり、処理の順序が、実施例１とは異なる。ここでは、実施例１との差異を中心に説明する。

図１３は、本発明の実施例２に係る車両用表示装置５０の構成を示す。車両用表示装置５０は、図３と同様の構成要素を含む。図１３における生成部６４は、図３と異なり、視点変換処理部５８、画像処理部５６の順に配置される。

視点変換処理部５８は、画像取得部５２において取得した画像に対して、車両の上方から見たように視点を変換した俯瞰画像を生成する。画像処理部５６は、距離取得部５４において取得した距離に応じて、視点変換処理部５８において生成した俯瞰画像に含まれた物体の下方に位置する模様を遮蔽させる処理を行う。模様を遮蔽させるための処理は、これまでと同様に他車両１１０を移動されればよい。

なお、画像処理部５６は、他車両１１０を移動させる代わりに、物体の外形を模した疑似物体１２０を、模様に重ねて貼り付けてもよい。図１４は、車両用表示装置５０における処理の概要を示す。疑似物体１２０は、他車両１１０の画像ではなく、図示されたような図形であればよい。なお、疑似物体１２０のサイズは、他車両１１０のサイズ以上にされる。このような疑似物体１２０は、実施例１において使用されてもよい。

本実施例によれば、始点を変換してから、模様を遮蔽させるので、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことを回避できる。また、物体の外形を模した疑似物体を、模様に重ねて貼り付けるので、処理を簡易にできる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例１、２においては、後方撮像部１６が撮像した後方画像７４への適用について説明したが、前方撮像部１２が撮像した前方画像７０、左側方撮像部１４が撮像した左側方画像７２、右側方撮像部１８が撮像した右側方画像７６への適用も可能である。後方撮像部１６が撮像した後方画像７４に本発明を適用する場合は、例えば駐車場での後退駐車時に有用である。前方撮像部１２が撮像した前方画像７０に本発明を適用する場合は、例えば駐車場での前進駐車時に有用である。左側方撮像部１４が撮像した左側方画像７２または右側方撮像部１８が撮像した右側方画像７６に本発明を適用する場合は、例えば側方への幅寄せ駐車や狭い道でのすれ違い時に有用である。

１０ 撮像部、 １２ 前方撮像部、 １４ 左側方撮像部、 １６ 後方撮像部、 １８ 右側方撮像部、 ５０ 車両用表示装置、 ５２ 画像取得部、 ５４ 距離取得部、 ５６ 画像処理部、 ５８ 視点変換処理部、 ６０ 表示処理部、 ６２ 表示部、 ６４ 生成部、 １００ 車両。

Claims (10)

1. 車両の周辺を撮像した画像を取得する画像取得部と、
   前記画像取得部において取得した画像に含まれた第１の物体と前記車両との第１の距離を取得する距離取得部と、
   前記距離取得部において取得した前記第１の距離に応じて、前記画像取得部において取得した画像に含まれた前記第１の物体の下方に位置する第２の物体の少なくとも一部を遮蔽した状態となるように、前記車両の上方から見たように視点を変換した俯瞰画像を生成する生成部と、
   前記生成部において生成した俯瞰画像を表示部に表示させる表示処理部と、
   を備えることを特徴とする車両用表示装置。
2. 前記生成部は、
   前記距離取得部において取得した前記第１の距離に応じて、前記画像取得部において取得した画像に含まれた前記第１の物体の下方に位置する前記第２の物体の少なくとも一部を遮蔽した状態とする処理を行う画像処理部と、
   前記画像処理部において前記第２の物体の少なくとも一部を遮蔽した状態とした画像に対して、前記車両の上方から見たように視点を変換した俯瞰画像を生成する視点変換処理部とを備えることを特徴とする請求項１に記載の車両用表示装置。
3. 前記生成部は、
   前記画像取得部において取得した画像に対して、前記車両の上方から見たように視点を変換した俯瞰画像を生成する視点変換処理部と、
   前記距離取得部において取得した前記第１の距離に応じて、前記視点変換処理部において生成した俯瞰画像に含まれた前記第１の物体の下方に位置する前記第２の物体の少なくとも一部を遮蔽した状態とする処理を行う画像処理部とを備えることを特徴とする請求項１に記載の車両用表示装置。
4. 前記画像処理部は、前記距離取得部において取得した前記第１の距離が第１のしきい値よりも短い場合に、前記第２の物体の少なくとも一部を遮蔽した状態とする処理を行うことを特徴とする請求項２または３に記載の車両用表示装置。
5. 前記画像処理部は、前記取得部において取得した前記第１の距離をもとに、前記第１の物体と前記第２の物体との間の第２の距離を導出し、導出した前記第２の距離が第２のしきい値よりも短い場合に、前記第２の物体の少なくとも一部を遮蔽したい状態とする処理を行うことを特徴とする請求項２または３に記載の車両用表示装置。
6. 前記画像処理部は、前記第１の物体の外形を切り出してから、前記第２の物体に重ねて貼り付けることを特徴とする請求項２から５のいずれかに記載の車両用表示装置。
7. 前記画像処理部は、前記第２の物体よりも本車両に近づけて、前記第１の物体の外形を貼り付けることを特徴とする請求項６に記載の車両用表示装置。
8. 前記画像処理部は、前記第１の物体の外形を模した疑似物体を、前記第２の物体に重ねて貼り付けることを特徴とする請求項２から５のいずれかに記載の車両用表示装置。
9. 前記距離取得部において距離を取得する対象となる前記第１の物体は、他の車両であり、
   前記生成部において遮蔽させる対象となる前記第２の物体は、地面に描画または載置された区画であることを特徴とする請求項１から８のいずれかに記載の車両用表示装置。
10. 車両の周辺を撮像した画像を取得するステップと、
    取得した画像に含まれた第１の物体と前記車両との第１の距離を取得するステップと、
    取得した前記第１の距離に応じて、取得した画像に含まれた前記第１の物体の下方に位置する第２の物体の少なくとも一部を遮蔽した状態となるように、前記車両の上方から見たように視点を変換した俯瞰画像を生成するステップと、
    生成した俯瞰画像を表示部に表示させるステップと、
    を備えることを特徴とする車両用表示方法。

Images