JP2017043230A - 車両用表示装置および車両用表示方法 - Google Patents

Abstract

【課題】視点変換を行う場合に、物体までの距離を正確に反映する技術を提供する。【解決手段】画像取得部５２は、車両の周辺を撮像した画像を取得する。距離取得部５４は、取得した画像に撮像された物体との距離を取得する。画像処理部５６は、取得した距離に応じて、取得した画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去する。視点変換処理部５８は、模様を消去した画像に対して、車両の上方から見たように視点を変換する。表示処理部６０は、変換した画像を表示部６２に表示させる。【選択図】図３

Description

本発明は、車両用表示技術に関し、特に画像を表示する車両用表示装置および車両用表示方法に関する。

車両の複数個所にカメラを設置する場合がある。その際、撮影された画像を視点変換して合成することによって、俯瞰画像が生成される（例えば、特許文献１参照）。

特開２０１２−２１７０００号公報

視点変換では、上下方向の位置の差がある物体間の距離を正確に表すことができず、違和感を生じたり、物体までの距離を正確に把握できなかったりする場合がある。例えば、複数の車両を並べて駐車する駐車場において、後退により駐車区画への駐車を行う場合、後方の車両の端部直下に駐車枠線があっても、視点変換を行った画像では、枠線と後方の車両には距離があるように見えてしまう。このような場合、後方の車両の端部直下の枠線が、自車の駐車範囲を示す枠線である場合、後方にある車両までの距離が適切に把握できない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、視点変換を行う場合に、物体までの距離を正確に反映する技術を提供することである。

上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した画像を取得する画像取得部と、画像取得部において取得した画像に撮像された物体との距離を取得する距離取得部と、距離取得部において取得した距離に応じて、画像取得部において取得した画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去する画像処理部と、画像処理部において模様を消去した画像に対して、車両の上方から見たように視点を変換する視点変換処理部と、視点変換処理部において変換した画像を表示部に表示させる表示処理部と、を備える。

本発明の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した画像を取得するステップと、取得した画像に撮像された物体との距離を取得するステップと、取得した距離に応じて、取得した画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去するステップと、模様を消去した画像に対して、車両の上方から見たように視点を変換するステップと、変換した画像を表示部に表示させるステップと、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、視点変換を行う場合に、物体までの距離を正確に反映できる。

本発明の実施例に係る車両の周辺に形成される撮像範囲を示す斜視図である。 図２（ａ）−（ｂ）は、本発明の実施例の比較対象における処理の概要を示す図である。 本発明の実施例に係る車両用表示装置の構成を示す図である。 図３の後方撮像部において撮像された画像を示す図である。 図５（ａ）−（ｂ）は、図３の車両用表示装置における処理の概要を示す図である。 図６（ａ）−（ｂ）は、図３の車両用表示装置における別の処理の概要を示す図である。 図３の車両用表示装置による表示手順を示すフローチャートである。 図３の車両用表示装置による別の表示手順を示すフローチャートである。

本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。複数の車両を並べて駐車する駐車場において後退により駐車区画への駐車を行う場合、後方の他車両の端部直下に描画された駐車枠線は、上方から見ると他車両に隠れて見えないはずである。しかしながら、視点変換によって生成した俯瞰画像において、駐車枠線が他車両に隠れず、本車両側に近づいて配置されることがある。そのため、運転者には、駐車枠線からさらに離れて、後方の他車両が存在するように見えてしまい、後方にある他の車両までの距離が適切に把握できない。

これに対応するために、本実施例に係る車両用表示装置は、車両の設置された複数の撮像部において撮像した車両周辺画像から他車両のような物体を検出するとともに、検出した物体までの距離を取得する。また、車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を画像から消去する。さらに、車両用表示装置は、駐車枠線を消去した画像に対して、視点変換を実行することによって俯瞰画像を生成し、生成した俯瞰画像を表示する。

以下、本発明の実施例について、図面を参照しつつ説明する。かかる実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。

図１は、本発明の実施例に係る車両１００の周辺に形成される撮像範囲を示す斜視図である。車両１００の前方部分、例えばバンパー、ボンネット等には、前方撮像部１２が設置される。前方撮像部１２は、前方撮像部１２から前方に向かうように前方撮像領域２０を形成し、前方撮像領域２０において画像を撮像する。車両の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、左側方撮像部１４から左方に向かうように左側方撮像領域２２を形成し、左側方撮像領域２２において画像を撮像する。

車両の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、後方撮像部１６から後方に向かうように後方撮像領域２４を形成し、後方撮像領域２４において画像を撮像する。左側方撮像部１４と左右対称になるように、車両の右側部分には、図示しない右側方撮像部１８が設置される。右側方撮像部１８は、右側方撮像部１８から右方に向かうように、右側方撮像領域２６を形成し、右側方撮像領域２６において画像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した画像によって、車両１００の周辺が撮像される。

図２（ａ）−（ｂ）は、本発明の実施例の比較対象における処理の概要を示す。比較対象では、図１に示すように、車両１００に設置された撮像部１０において画像を撮像する場合を想定する。一方、比較対象では、画像に対する視点変換により俯瞰画像を生成するための処理が、これまでなされていた処理に相当する。図２（ａ）は、図１の車両１００を左側方から見た場合を示す。前述のごとく、車両１００の後方部分には後方撮像部１６が設置されている。また、車両１００の後方には、他車両１１０が駐車あるいは停車している。さらに、地面には枠線３０が描画されており、枠線３０は、他車両１１０の前方端部の下に存在する。そのため、車両１００、他車両１１０を上方から見下ろした場合、枠線３０は他車両１１０に隠れる。一方、後方撮像部１６は、撮像範囲３２を有しているので、後方撮像部１６によって撮像された画像には、他車両１１０の前方端部、枠線３０が含まれる。

図２（ｂ）は、撮像部１０において撮像した画像に対して、視点変換を実行して生成した俯瞰画像４８を示す。前述のごとく、俯瞰画像４８を生成するための処理には、これまでなされていた処理が実行されている。俯瞰画像４８の中央部分には、車両１００が配置される。車両１００の前方には前方画像４０が配置され、車両１００の左側方には左側方画像４２が配置され、車両１００の後方には後方画像４４が配置され、車両１００の右側方には右側方画像４６が配置される。特に、後方画像４４は、図２（ａ）における撮像範囲３２を撮像した画像をもとに生成されている。そのため、後方画像４４では、車両１００の後方に他車両１１０が配置されるとともに、車両１００と他車両１１０との間に枠線３０が配置される。つまり、本来、他車両１１０に隠れるはずの枠線３０が、他車両１１０に隠れなくなり、俯瞰画像４８と実際の状況とが異なる。

図３は、本発明の実施例に係る車両用表示装置５０の構成を示す。車両用表示装置５０は、撮像部１０を構成する前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８に接続される。車両用表示装置５０は、画像取得部５２、距離取得部５４、画像処理部５６、視点変換処理部５８、表示処理部６０、表示部６２を含む。

前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、画像を撮像する。画像は動画像であるが、静止画像であってもよい。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、画像を画像取得部５２に出力する。

画像取得部５２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから画像を入力する。つまり、画像取得部５２は、車両１００の周辺を撮像した画像を取得する。図４は、後方撮像部１６において撮像された画像の例を示す。図４に示す画像の例は、説明を容易にするために、撮像部１０の各々が広角撮影可能なカメラであることによる画像の歪みは表していない。ここで、図２（ａ）のごとく、車両１００の後方に他車両１１０が駐車しており、他車両１１０の下方の地面に枠線３０が描写されているとする。画像には、他車両１１０と枠線３０とが含まれている。図３に戻る。画像取得部５２は、取得した画像を距離取得部５４に出力する。

距離取得部５４は、画像取得部５２からの画像を入力する。以下では、説明を明瞭にするために、後方撮像部１６において撮像した画像に対する処理を説明するが、他の画像に対しても同様の処理がなされればよい。距離取得部５４は、画像に対して、エッジ検出処理を実行する。エッジ検出処理は、特徴検出や特徴抽出の一種であり、画像の明るさが不連続に変化している箇所を特定するためのアルゴリズムであるので、画像に含まれた物体、例えば他車両１１０を検出する。また、距離取得部５４は、エッジ検出処理によって、画像に含まれた模様、例えば、枠線３０も検出する。なお、エッジ検出処理は公知の技術であるので、ここでは詳細な説明を省略する。ここでいう枠線３０は、一般的には路面に描画された白線であり、撮像した画像に基づく公知の白線検出技術が適用可能である。また、枠線３０ではなく縁石である場合も同様である。

距離取得部５４は、検出した物体との距離を取得する。距離取得部５４において距離を取得する対象となる物体は、例えば、他車両１１０である。物体との測距には、公知の技術が使用されればよいが、例えば、ステレオ測距、二眼カメラが使用される。これは、複数の光学系間に生じる視差を算出し、視差をもとに、物体までの距離を測定する。この場合、後方撮像部１６には、複数の光学系が備えられる。また、物体との測距に、距離センサが使用されてもよい。図示しない距離センサが、後方撮像部１６の近傍に備えられており、距離センサは、赤外光やレーザ光などを物体に照射してから、その反射光を受光することによって、結像位置情報から距離を算出する。距離センサには、ミリ波などを用いてもよい。

また、物体との測距に、ベクトル検出処理が使用されてもよい。ベクトル検出処理は、画像中の特定点を検出するとともに、特定点のベクトル移動量を算出することによって、物体との距離を測定する。図５（ａ）−（ｂ）は、車両用表示装置５０における処理の概要を示す。図５（ａ）は、図２（ａ）と同様に示される。距離取得部５４は、距離「ｄ１」を測定する。図５（ｂ）は後述し、図３に戻る。距離取得部５４は、取得した距離と、画像とを画像処理部５６に出力する。また、距離取得部５４は、検出した物体、模様に関する情報も画像処理部５６に出力する。

画像処理部５６は、距離取得部５４から距離と画像とを入力する。また、画像処理部５６は、距離取得部５４から、物体、模様に関する情報も入力する。距離取得部５４は、物体、模様に関する情報をもとに、模様が物体の下方に存在するか否かを判定する。図４の場合、模様である枠線３０が、物体である他車両１１０の下方に存在する。つまり、距離取得部５４は、画像上において、模様が物体の下方に存在する場合、模様が物体の下方に存在すると判定する。模様が物体の下方に存在する場合、画像処理部５６は、下記の処理を実行する。

画像処理部５６は、しきい値を予め保持しており、入力した距離としきい値とを比較する。距離がしきい値よりも短い場合に、画像処理部５６は、画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去する。図４の場合、画像処理部５６は、地面に描画された枠線３０を画像から消去する。また、図５（ａ）に示した距離ｄ１がしきい値よりも短ければ、画像処理部５６は枠線３０を消去する。つまり、距離取得部５４は、取得した距離に応じて、模様を画像から消去する。画像処理部５６は、画像を視点変換処理部５８に出力する。

視点変換処理部５８は、画像処理部５６から画像を入力する。視点変換処理部５８は、画像に対して、車両１００の上方から見たように視点を変換する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。視点を変換した画像の一例が、図５（ｂ）である。図５（ｂ）における俯瞰画像７８の中央部分には、車両１００が配置される。車両１００の前方には前方画像７０が配置され、車両１００の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。特に、後方画像７４には、既に消去された枠線３０が含まれていない。

図６（ａ）−（ｂ）は、車両用表示装置５０における別の処理の概要を示す。図６（ａ）は、図５（ａ）と同様に示されるが、これらにおいて、車両１００と他車両１１０との距離が異なっており、枠線３０は、他車両１１０の前方端部の下に存在しない。図６（ａ）では、車両１００と他車両１１０は、距離ｄ２だけ離れている。ここで、距離ｄ２は、距離ｄ１よりも長く、画像処理部５６でのしきい値以上である。そのため、画像処理部５６において、枠線３０は消去されない。図６（ｂ）における俯瞰画像７８は、図５（ｂ）と同様に示されるが、後方画像７４において、車両１００と他車両１１０との間に枠線３０が含まれる。図３に戻る。視点変換処理部５８は、変換した画像である俯瞰画像７８を表示処理部６０に出力する。

表示処理部６０は、視点変換処理部５８から俯瞰画像７８を入力する。表示処理部６０は、俯瞰画像７８を表示部６２に表示させる。表示部６２は、図５（ｂ）、図６（ｂ）のような俯瞰画像７８を表示する。

なお、画像処理部５６は、模様が物体の下方に存在することを判定するために場合、前述した処理とは別の処理を実行してもよい。画像処理部５６は、物体、模様に関する情報をもとに、物体と模様との間の画素数を特定する。また、距離取得部５４は、入力した距離をもとに、画像の画角を特定する。さらに、距離取得部５４は、画角毎に、画素数と実際の距離との関係を予め記憶しており、特定した画素数と画角とをもとに、物体と模様との間の距離を導出する。導出された距離は、図５（ａ）において距離ｄ３と示され、図６（ａ）において距離ｄ４と示される。

画像処理部５６は、前述のしきい値とは別のしきい値を予め保持しており、導出した距離としきい値とを比較する。距離がしきい値よりも短い場合に、画像処理部５６は、画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去する。図５（ａ）における距離ｄ３はしきい値よりも短く、図６（ａ）における距離ｄ４はしきい値以上である。そのため、これまでと同様に、画像処理部５６は、図５（ａ）に対して枠線３０を消去し、図６（ａ）に対して枠線３０を消去しない。これに続く処理は、これまでと同様である。

画像処理部５６における２種類の処理を説明したが、いずれにおいてもしきい値は、固定値とされている。一方、しきい値は、後方撮像部１６等が取り付けられた位置に応じて設定されてもよい。つまり、画像処理部５６は、後方撮像部１６等の地面からの高さに応じて、しきい値を設定してもよい。後方撮像部１６等の高さが高くなるほど、後方撮像部１６等において撮像される画像と、車両１００の上方から見た画像とが近くなる。その場合、実際は他車両１１０の下に枠線３０が存在しているにもかかわらず、視点変換すると、車両１００と他車両１１０との間に枠線３０が示されているような状況が発生しにくくなる。そのため、枠線３０等の模様が消去されにくくなるようにしきい値が調節されるべきである。これらを考慮して、距離取得部５４は、後方撮像部１６等の高さが高くなるほど、短くなるようなしきい値を設定する。例えば、後方撮像部１６等を車両１００に取り付ける際に、外部からしきい値が設定される。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による車両用表示装置５０の動作を説明する。図７は、車両用表示装置５０による表示手順を示すフローチャートである。距離取得部５４は、後方の他車両１１０との距離を取得する（Ｓ１０）。距離がしきい値よりも短ければ（Ｓ１２のＹ）、画像処理部５６は、枠線３０を消去する（Ｓ１４）。一方、距離がしきい値よりも短くなければ（Ｓ１２のＮ）、ステップＳ１６へ推移する。視点変換処理部５８は、画像の視点を変換する（Ｓ１６）。表示処理部６０は、表示部６２に画像を表示させる（Ｓ１８）。

図８は、車両用表示装置５０による別の表示手順を示すフローチャートである。距離取得部５４は、後方の他車両１１０との距離を取得する（Ｓ５０）。画像処理部５６は、後方の他車両１１０と枠線３０との間の距離を導出する（Ｓ５２）。距離がしきい値よりも短ければ（Ｓ５４のＹ）、画像処理部５６は、枠線３０を消去する（Ｓ５６）。一方、距離がしきい値よりも短くなければ（Ｓ５４のＮ）、ステップＳ５８へ推移する。視点変換処理部５８は、画像の視点を変換する（Ｓ５８）。表示処理部６０は、表示部６２に画像を表示させる（Ｓ６０）。

ステップＳ１４およびステップＳ５６における枠線３０の消去処理について説明する。例えば、距離取得部５４が検出した枠線３０が駐車場の区画を示す白線である場合、白線部分に対して、白線の周辺色と同様の色調で塗りつぶす、白線に隣接した領域をコピーして白線上に張り付ける、白線上に黒色などの色で白線を覆う線を描画するなどの処理が適用される。この場合、撮像部１０の各々の撮影方向に垂直またはほぼ垂直の枠線３０を消去対象とする。または、他車両１１０を撮影する撮像部１０に対向する他車両１１０の辺と平行またはほぼ平行な枠線３０を消去対象とする。図２（ｂ）に示す枠線３０はいずれの条件も満たしている。

本実施例によれば、他車両との距離に応じて、他車両の下方に位置する枠線を画像から消去して俯瞰画像を生成するので、俯瞰画像において他車両に隠れるべき枠線が表示されてしまうことを回避できる。また、俯瞰画像において他車両に隠れるべき枠線が表示されてしまうことが回避されるので、実際の状況と俯瞰画像とを近くできる。また、実際の状況と俯瞰画像とが近くなるので、視点変換を行う場合に、物体までの距離を正確に反映できる。また、他車両との距離としきい値とを比較するだけなので、処理を簡易にできる。また、他車両と枠線との間の距離としきい値とを比較するので、処理の精度を向上できる。また、撮像部の地面からの高さに応じてしきい値を設定するので、処理の精度を向上できる。

上記実施例においては、後方撮像部１６が撮像した後方画像７４への適用について説明したが、前方撮像部１２が撮影した前方画像７０、左側方撮像部１４が撮影した左側方画像７２、右側方撮像部１８が撮影した右側方画像７６への適用も可能である。後方撮像部１６が撮像した後方画像７４に本発明を適用する場合は、例えば駐車場での後退駐車時に有用である。前方撮像部１２が撮影した前方画像７０に本発明を適用する場合は、例えば駐車場での前進駐車時に有用である。左側方撮像部１４が撮影した左側方画像７２または右側方撮像部１８が撮影した右側方画像７６に本発明を適用する場合は、例えば側方への幅寄せ駐車や狭い道でのすれ違い時に有用である。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

５０ 車両用表示装置、 ５２ 画像取得部、 ５４ 距離取得部、 ５６ 画像処理部、 ５８ 視点変換処理部、 ６０ 表示処理部、 ６２ 表示部、 ７０ 前方画像、 ７２ 左側方画像、 ７４ 後方画像、 ７６ 右側方画像、 ７８ 俯瞰画像、 １００ 車両。

Claims (6)

1. 車両の周辺を撮像した画像を取得する画像取得部と、
   前記画像取得部において取得した画像に撮像された物体との距離を取得する距離取得部と、
   前記距離取得部において取得した距離に応じて、前記画像取得部において取得した画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去する画像処理部と、
   前記画像処理部において模様を消去した画像に対して、前記車両の上方から見たように視点を変換する視点変換処理部と、
   前記視点変換処理部において変換した画像を表示部に表示させる表示処理部と、
   を備えることを特徴とする車両用表示装置。
2. 前記画像処理部は、前記距離取得部において取得した距離がしきい値よりも短い場合に、模様を画像から消去することを特徴とする請求項１に記載の車両用表示装置。
3. 前記画像処理部は、前記距離取得部において取得した距離をもとに、物体と模様との間の距離を導出し、導出した距離がしきい値よりも短い場合に、模様を画像から消去することを特徴とする請求項１に記載の車両用表示装置。
4. 前記画像処理部は、前記画像取得部において取得した画像を撮像した撮像装置の地面からの高さに応じて、しきい値を設定することを特徴とする請求項２または３に記載の車両用表示装置。
5. 前記距離取得部において距離を取得する対象となる物体は、他の車両であり、
   前記画像処理部において消去の対象となる模様は、地面に描画された枠線であることを特徴とする請求項１から４のいずれかに記載の車両用表示装置。
6. 車両の周辺を撮像した画像を取得するステップと、
   取得した画像に撮像された物体との距離を取得するステップと、
   取得した距離に応じて、取得した画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去するステップと、
   模様を消去した画像に対して、前記車両の上方から見たように視点を変換するステップと、
   変換した画像を表示部に表示させるステップと、
   を備えることを特徴とする車両用表示方法。

Images