JP2006333009A - 俯瞰画像表示装置及び俯瞰画像表示方法 - Google Patents

Abstract

【課題】撮像対象物とカメラとが相対移動していない状況であっても、高さを有する物体について違和感のない俯瞰画像を表示できるようにする。
【解決手段】実カメラ１によって互いに異なる複数の視点位置で撮像された実画像データに基づいて、実カメラ１から実画像データ内の物体までの距離を距離データ演算部１２によって演算する。また、画像変換処理部１３は、実カメラ１によって撮像された実画像データ上における物体の表示画面上での上下方向の位置と、実カメラ１から実画像データ内の物体までの距離と表示画面上の上下方向の位置との関係を示す地面データ１７と、距離データ演算部１２で求めた物体までの距離とに基づいて、当該物体が高さを有するものであるか否かを判定し、高さを有する物体であれば地面に垂直な方向に当該物体を圧縮して俯瞰画像データを作成する。
【選択図】図４

Description

本発明は、車載カメラ等により撮像された実画像を俯瞰画像に変換して表示させる俯瞰画像表示装置及び俯瞰画像表示方法に関する。

従来、固定的に設置されたカメラによりある視点から撮像された実画像に対して画像処理を施すことにより、この実画像を別の視点から見た画像に変換する技術が知られている。このような画像処理は視点変換処理と呼ばれ、例えば、車載カメラで車両周囲の死角領域を撮像し、この死角領域を上から見下ろすような俯瞰画像として表示するといった用途に用いられている。

このような俯瞰画像の表示を行うシステムにおいて、実画像を俯瞰画像に変換する視点変換処理は、実際のカメラによって撮像された２次元の実画像を所定の平面に射影し、この実画像を平面に射影したものを仮想カメラによって上から撮像したと仮定して俯瞰画像を作成するものである。このため、実画像内に高さを有する物体が存在する場合、この物体は俯瞰画像では違和感のある状態で表示されるという問題がある。具体的には、例えば建築物等の高さがある物体を実際のカメラで撮像した場合、このカメラで撮像した実画像を俯瞰画像に変換すると、俯瞰画像上では当該物体が倒れ込んだ状態となって表示されることになり、実際の様子を認識しづらいという問題があった。

以上のような高さを有する物体を俯瞰画像で表示した場合の違和感をなくすための技術として、例えば特許文献１においては、車両走行にともない撮像対象物とカメラとが相対移動することによって得られる動画像データを解析して撮像対象物の高さ情報を取得し、この高さ情報に基づいて所定の演算を行うことにより、違和感のない俯瞰画像を作成する技術が開示されている。
特開２００２−３４０３５号公報

しかしながら、上述した特許文献１に記載された従来の技術においては、車両走行にともない撮像対象物とカメラとが相対移動することによって得られる動画像データに基づいて俯瞰画像を作成するようにしているので、車両走行開始前に違和感のない俯瞰画像を表示することができないという問題があった。そのため、この従来技術では、例えば車両後退前に障害物との距離を認識させるといったような、違和感のない俯瞰画像を特に必要とする状況での使用ができず、実用性の観点から改良が求められていた。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、撮像対象物とカメラとが相対移動していない状況であっても、高さを有する物体について違和感のない俯瞰画像を表示することが可能な俯瞰画像表示装置及び俯瞰画像表示方法を提供することを目的としている。

本発明は、前記目的を達成するために、カメラによって互いに異なる複数の視点位置で撮像された実画像に基づいてカメラから実画像内の物体までの距離を演算し、この実画像内の物体の表示画面上における上下方向の位置と、演算によって求めたカメラから物体までの距離と、実画像の表示画面上における上下方向の位置と実カメラからの距離との関係を示す地面データとに基づいて、物体が高さを有する物体であるか否かを判定し、高さを有する物体であれば当該物体を実画像内で地面に対して垂直な方向に圧縮して俯瞰画像を作成するようにしている。

本発明によれば、物体とカメラとが相対移動していない状況であっても、高さを有する物体について違和感のない俯瞰画像を表示することができる。したがって、例えば車載カメラで車両周囲の死角領域を撮像して俯瞰画像として表示するシステムに本発明を適用すれば、車両の走行を開始させる前であっても、障害物となる物体について違和感のない俯瞰画像を表示して、障害物となる物体までの距離等をドライバに的確に認識させることが可能となる。

以下、本発明を適用した俯瞰画像表示装置の具体的な実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
まず、本発明を適用した第１の実施形態の俯瞰画像表示装置について説明する。

本実施形態の俯瞰画像表示装置は、図１に示すように、車両後方に搭載された車載カメラ（以下、実カメラ１と呼ぶ。）によって当該車両後方の路面領域ａを斜め上方から撮像することで得られた図２に示すような実画像の画像データを、恰も路面領域ａ上方の仮想カメラ２によって垂直方向から路面領域ａを撮像したと仮定される図３に示すような俯瞰画像の画像データに変換して表示するものである。

具体的には、本実施形態の俯瞰画像表示装置は、図４に示すように、２つのカメラ１ａ，１ｂによりステレオカメラとして構成される実カメラ１によって撮像された互いに視点位置が異なる２つの実画像データをその表示座標に対応させて一時的に記憶する実カメラ用メモリ１１と、２つのカメラ１ａ，１ｂによって撮像された実画像データを用いて実画像上に現れる物体までの距離を演算する距離データ演算部１２と、実カメラ用メモリ１１に記憶された実画像データを俯瞰画像データに変換する画像変換処理部１３と、この画像変換処理部１３による画像変換処理の際の演算に用いる計算用メモリ１４と、画像変換処理部１３によって作成された俯瞰画像データをその表示座標に対応させて一時的に記憶する俯瞰用メモリ１５とを備える。

距離データ演算部１２は、実カメラ１を構成する２つのカメラ１ａ，１ｂによって撮像された実画像データに基づいて、当該実画像データ上における各点までのカメラ１ａ，１ｂからの距離を演算する。具体的には、距離データ演算部１２は、市販されているレンジファインダ等から構成され、２つのカメラ１ａ，１ｂによって撮像された物体（路面上に描画されたマーク等を含む）の相対距離と、ディスプレイ３の表示画面上における物体のずれとを比較する。ここで、ディスプレイ３の表示画面上における物体のずれとは、カメラ１ａ，１ｂが水平方向に並設されている場合には、左右方向のずれである。距離データ演算部１２は、この比較の結果、ずれの小さい物体はカメラ１ａ，１ｂから遠方に存在し、ずれの大きい物体はカメラ１ａ，１ｂの近傍に存在すると判定し、ディスプレイ３に表示される物体までの距離を測定する。このような距離データ演算部１２によって求められた物体までの距離は、距離データとして画像変換処理部１３に供給される。

画像変換処理部１３は、画像変換処理部１３は、カメラ１ａ，１ｂによって撮像された実画像データ上における物体の表示位置に基づいて、俯瞰画像データを作成する。具体的には、画像変換処理部１３は、メモリ等に記憶された所定の変換テーブル１６に基づいて、実カメラ用メモリ１１から読み出した実画像データを計算用メモリ１４又は俯瞰用メモリ１５に画素毎に順次コピーして座標変換を行うことにより、俯瞰画像データを作成する。なお、変換テーブル１６は、カメラ１ａ，１ｂによって撮像された実画像データを俯瞰画像データに変換するために、俯瞰画像データ上の各点が実画像データ上のどの点と同一であるかを示す２次元テーブルであり、カメラ１ａ，１ｂのカメラレンズの光学特性並びに車両に対する取り付け位置及び取り付け角度に基づいて一意に決定されるものである。

ここで、本実施形態の俯瞰画像表示装置における画像変換処理部１３は、実カメラ用メモリ１１から読み出した実画像データを計算用メモリ１４又は俯瞰用メモリ１５に画素毎に順次コピーする際に、距離データ演算部１２から供給される距離データとメモリ等に記憶された所定の地面データ１７とを画素毎に比較する。地面データ１７は、例えば図５に示すように、実画像データに基づいてディスプレイ３に画像を表示させた場合におけるディスプレイ３の表示画面上の上下方向の位置と、カメラ１ａ，１ｂからの距離との関係を示すものであり、カメラ１ａ，１ｂのカメラレンズの光学特性並びに車両に対する取り付け位置及び取り付け角度に基づいて一意に決定されるものである。この地面データ１７は予め作成されてメモリ等に記憶されている。画像変換処理部１３は、距離データと地面データ１７とを比較した比較結果に基づいて、実画像データ内の物体が高さを有するものであるか否かを判定し、これに基づいて、当該物体を示す実画像データの画素を計算用メモリ１４又は俯瞰用メモリ１５のいずれにコピーするかを制御する。

さらに、画像変換処理部１３は、後述するように、計算用メモリ１４にコピーした画素からなる画像データを任意の率で上下方向に圧縮し、圧縮した画像データを俯瞰用メモリ１５に上書き合成する。具体的には、画像変換処理部１３は、例えば図６に示すように、地面に接地した物体を圧縮して上書き合成する際に、俯瞰用メモリ１５上における地面データ１７との交点位置、すなわち、当該物体が接地している位置の方向に圧縮するように上書き合成する。

このような俯瞰画像表示装置においては、例えば図７に示すように、地面に接地した人間等を含む物体が写りこんだ実画像データが得られた場合に、その実画像データの全画素を単純に俯瞰用メモリ１５にコピーした場合には、物体の位置を誤って変換し、図８に示すように、当該物体が倒れ込んだ俯瞰画像データを作成してしまう。そこで、本実施形態の俯瞰画像表示装置においては、画像変換処理部１３の制御のもとで、図９に示すような一連の手順にしたがって、実画像データを俯瞰画像データに変換してディスプレイ３に表示する。

まず、画像変換処理部１３は、例えば図７に示すような実画像データが得られた場合には、ステップＳ１において、実カメラ用メモリ１１から読み出した実画像データのある画素について、距離データ演算部１２から供給される距離データとメモリ等に記憶された所定の地面データ１７とを比較して、距離データが地面データ１７で表される距離未満となっていないかどうかを確認する。

ここで、画像変換処理部１３は、距離データが地面データ１７で表される距離未満となっていないと判定した場合、すなわち、実画像データのある画素に対応する位置について求められた距離データが、当該画素の地面データ１７で表される距離よりも短くなっていないと判定した場合には、当該画素は高さを有していない物体（図７に示す例では路面や背景）を表す画素であるため、ステップＳ２において、変換テーブル１６に基づいて、その画素を俯瞰用メモリ１５の該当する位置にコピーする。

一方、画像変換処理部１３は、距離データが地面データ１７で表される距離未満となっていると判定した場合、すなわち、実画像データのある画素に対応する位置について求められた距離データが、当該画素の地面データ１７で表される距離よりも短くなっていると判定した場合には、当該画素は高さを有する物体（図７に示す例では路面上の人物）を表す画素であるため、ステップＳ３へと処理を移行し、その画素を俯瞰用メモリ１５にコピーせずに、計算用メモリ１４にコピーする。画像変換処理部１３は、ステップＳ４において、このようなコピー処理を実画像データにおける全画素について終了するまで繰り返し行う。

これにより、俯瞰用メモリ１５に記憶された画像データは、例えば図１０に示すように、高さを有する物体以外の領域についてコピーされたものとなり、一方、計算用メモリ１４に記憶された画像データは、例えば図１１に示すように、高さを有する物体についてコピーされたものとなる。

そして、画像変換処理部１３は、ステップＳ５において、計算用テーブル１４に記憶された画像データを、例えば図１２に示すように、任意の率で物体が接地している位置の方向に圧縮し、ステップＳ６において、この圧縮した画像データを俯瞰用メモリ１５に上書き合成することにより、俯瞰画像データを作成し、一連の処理を終了する。

本実施形態の俯瞰画像表示装置においては、このような一連の手順にしたがった処理を行うことにより、例えば図１３に示すように、物体が倒れ込まずに上下方向に圧縮された俯瞰画像データを作成し、ディスプレイ３に表示することができる。なお、本実施形態の俯瞰画像表示装置においては、高さを有する物体を圧縮することで出現する画素領域については、この画素領域がカメラ１ａ，１ｂで撮像されない死角領域であり、実画像データ上に現れていない他の物体が存在する可能性があることから、同図中黒ベタの領域で示すように、死角領域である旨をユーザに提示するような表示形態とするのが望ましい。また、高さを有する物体であっても、さほど高くない物体については、倒れ込む領域が少なく違和感が少ない。そこで、本実施形態の俯瞰画像表示装置においては、高さを有する物体について一律に圧縮するのではなく、所定の基準高さ以上の物体のみについて圧縮し、基準高さ未満の物体については、圧縮しないようにしてもよい。

以上詳細に説明したように、本実施形態の俯瞰画像表示装置においては、カメラ１ａ，１ｂによって互いに異なる複数の視点位置で撮像された実画像データに基づいて、カメラ１ａ，１ｂから実画像データ内の物体までの距離を距離データ演算部１２によって演算し、画像変換処理部１３の制御のもとで、カメラ１ａ，１ｂによって撮像された実画像データ上における物体の表示位置と、カメラ１ａ，１ｂから実画像データ内の物体までの距離と表示画面上の上下方向の位置との関係を示す地面データ１７と、求めた物体までの距離とに基づいて、当該物体が高さを有するものであるか否かを判定し、高さを有する物体であれば地面に垂直な方向に当該物体を圧縮して俯瞰画像データを作成するようにしている。

これにより、この俯瞰画像表示装置においては、撮像対象となる物体とカメラ１ａ，１ｂとが相対移動しなくても当該物体までの距離を求めることができるので、車両走行開始前であっても、高さのある物体について違和感のない俯瞰画像データを表示することができる。

なお、本実施形態の俯瞰画像表示装置においては、２つのカメラ１ａ，１ｂを用いたいわゆるステレオカメラによって撮像された実画像データに基づいて距離を測定するのではなく、例えば図１４に示すように、１つのカメラ１の前面にプリズムやミラー等の光学部品５を設けることにより、互いに異なる複数の視点位置で撮像された実画像データを取得できるようにし、距離を測定するにあたって、得られた実画像データを２つの画面に分離して処理するようにしてもよい。このように、１つのカメラ１の前面にプリズムやミラー等の光学部品５を設けて互いに異なる複数の視点位置で撮像された実画像データを取得するようにした場合には、俯瞰画像表示装置をより安価に構成することが可能となる。

さらにまた、本実施形態の俯瞰画像表示装置においては、画像変換処理部１３の制御のもとで、死角領域である旨を提示するような表示形態で俯瞰画像データを作成することにより、死角領域に実画像データ上に現れていない他の物体が存在する可能性がある旨を、違和感のない状態でユーザに事前に提示し、ユーザの注意を喚起することができる。

また、この俯瞰画像表示装置においては、画像変換処理部１３の制御のもとで、所定の基準高さ未満の物体については圧縮しないで俯瞰画像データを作成することにより、処理の簡略化を図ることも可能となる。

（第２の実施形態）
次に、本発明を適用した第２の実施形態の俯瞰画像表示装置について説明する。

上述した第１の実施形態では、高さを有する物体が地面に接地していることを前提として、高さを有する物体については先に図６に示したように当該物体が接地している位置の方向に圧縮するようにしているが、物体がその垂直方向で地面に接地しておらず、空中に浮いた状態で存在する場合には、物体を圧縮する方向を特定できないことになる。本実施形態の俯瞰画像表示装置は、このように地面に接地していない物体についても適切に圧縮できるようにしたものである。なお、本実施形態の俯瞰画像表示装置における基本的な構成や処理の概要は、上述した第１の実施形態と同様であるので、以下、本実施形態に特徴的な部分についてのみ説明し、第１の実施形態と同様の部分については図中同一の符号を付して詳細な説明を省略する。

例えば図１５に示すように、地面に接地していない物体ＯＢを俯瞰画像上で違和感なく表示する方法としては、実カメラ１によって撮像された実画像データに基づいて求められた距離に相当する位置に当該物体ＯＢが位置するように画像変換を行うことが考えられる。しかしながら、このような手法を用いると、物体ＯＢを地面に対して垂直方向に下ろした位置Ａに当該物体ＯＢの像を表示させるのではなく、地面に向かって求められた距離だけ離れた位置Ｂに当該物体ＯＢの像を表示させたものとなる。すなわち、このような手法では、地面に接地していない物体ＯＢは、俯瞰画像上では実際の位置よりも近い位置に当該物体ＯＢが存在するかのように表示されることになる。

そこで、本実施形態の俯瞰画像表示装置においては、地面に接地していない物体ＯＢを俯瞰画像上でより正確な位置に表示できるようにするために、図１６に示すように、実カメラ１により撮像される実画像データ内で垂直な方向を示す垂直データ１８を予め作成してメモリ等に記憶させておき、画像変換処理部１３が、計算用メモリ１４にコピーした画素からなる画像データを任意の率で圧縮する際に、例えば図１７に示すように、垂直データ１８を用いて地面に接地していない物体を地面に垂直な方向に移動させ、地面に接地した位置で圧縮するようにしている。ここで、垂直データ１８は、実カメラ１を構成するカメラ１ａ，１ｂのカメラレンズの光学特性並びに車両に対する取り付け位置及び取り付け角度に基づいて一意に決定される地面上垂直を示すものである。画像変換処理部１３は、この垂直データ１８を用いることで、地面に接地していない物体を地面に対して垂直な方向に移動させたときの地面データ１７との交点を求めることができるので、求めた俯瞰用メモリ１５上の交点位置に、計算用テーブル１４に記憶された画像データの下端位置が位置するように上書き合成を行う。

以上詳細に説明したように、本実施形態の俯瞰画像表示装置においては、画像変換処理部１３の制御のもとで、地面上垂直を示す垂直データ１８に基づいて、地面に接地していない物体を地面に垂直な方向に移動させて地面に接地した位置で圧縮することにより、物体の位置を誤って変換する事態を確実に防止し、違和感のない俯瞰画像データを表示することが可能となる。

なお、以上説明した俯瞰画像表示装置は本発明の一適用例であり、本発明が以上の例に限定されるものではなく、本発明に係る技術的思想を逸脱しない範囲であれば具体的なハードウェア構成などにおいて種々の変更が可能であることは勿論である。

本発明の俯瞰画像表示装置が適用される車両の外観概略構成を示す図である。 実カメラによって撮像して得られる実画像データの例を示す図である。 図２に示す実画像データを変換して得られる俯瞰画像データの例を示す図である。 本発明を適用した第１の実施形態の俯瞰画像表示装置の概略構成を示すブロック図である。 地面データの例を示す図である。 第１の実施形態の俯瞰画像表示装置において、地面に接地した物体を圧縮して上書き合成する様子を示す図である。 地面に接地した物体が存在する場合の実画像データの例を示す図である。 図７に示す実画像データの全画素を単純にコピーして得られる俯瞰画像データの例を示す図である。 第１の実施形態の俯瞰画像表示装置において、俯瞰画像データを作成する際の一連の手順を示すフローチャートである。 第１の実施形態の俯瞰画像表示装置における俯瞰用メモリに記憶された画像データの例を示す図である。 第１の実施形態の俯瞰画像表示装置における計算用メモリに記憶された画像データの例を示す図である。 第１の実施形態の俯瞰画像表示装置における計算用メモリに記憶された画像データを圧縮した画像データの例を示す図である。 第１の実施形態の俯瞰画像表示装置において作成された俯瞰画像データの例を示す図である。 １つのカメラの前面に光学部品を設けることにより互いに異なる複数の視点位置で撮像された実画像データを取得するようにした実カメラの概略構成を示す図である。 地面に接地していない物体が俯瞰画像上で実際の位置と異なった位置に表示される理由を説明する図である。 本発明を適用した第２の実施形態の俯瞰画像表示装置の概略構成を示すブロック図である。 第２の実施形態の俯瞰画像表示装置において、地面に接地していない物体を圧縮して上書き合成する様子を示す図である。

符号の説明

１（１ａ，１ｂ） 実カメラ
２ 仮想カメラ
３ ディスプレイ
５ 光学部品
１１ 実カメラ用メモリ
１２ 距離データ演算部
１３ 画像変換処理部
１４ 計算用メモリ
１５ 俯瞰用メモリ
１６ 変換テーブル
１７ 地図データ
１８ 垂直データ

Claims (7)

1. カメラによって撮像された実画像を俯瞰画像に変換して表示させる俯瞰画像表示装置において、
   前記カメラによって互いに異なる複数の視点位置で撮像された実画像に基づいて、前記カメラから前記実画像内の物体までの距離を演算する距離演算手段と、
   前記実画像の表示画面上における上下方向の位置と前記カメラからの距離との関係を示す地面データを記憶する記憶手段と、
   前記実画像内の物体の表示画面上における上下方向の位置と、前記距離演算手段によって求められた前記物体までの距離と、前記記憶手段に記憶された地面データとに基づいて、前記物体が高さを有する物体であるか否かを判定し、高さを有する物体であれば当該物体を前記実画像内で地面に対して垂直な方向に圧縮して、前記俯瞰画像を作成する画像変換処理手段とを備えることを特徴とする俯瞰画像表示装置。
2. 前記カメラは、互いに視点位置が異なる複数の実画像を撮像するステレオカメラであることを特徴とする請求項１に記載の俯瞰画像表示装置。
3. 前記カメラは、１つのカメラの前面に光学部品を設けて互いに異なる複数の視点位置で撮像された実画像を取得するものであることを特徴とする請求項１に記載の俯瞰画像表示装置。
4. 前記記憶手段は、前記実画像内で地面に対して垂直な方向を示す垂直データを記憶し、
   前記画像変換処理処理は、前記記憶手段に記憶された垂直データを用いて、前記高さを有する物体を地面に対して垂直な方向に圧縮することを特徴とする請求項１に記載の俯瞰画像表示装置。
5. 前記画像変換処理手段は、前記物体を前記実画像内で地面に対して垂直な方向に圧縮することで出現する領域が死角領域であることを示す表示形態で前記俯瞰画像を作成することを特徴とする請求項１に記載の俯瞰画像表示装置。
6. 前記画像変換処理手段は、所定の基準高さ未満の物体については前記圧縮処理を行わずに前記俯瞰画像を作成することを特徴とする請求項１に記載の俯瞰画像表示装置。
7. カメラによって撮像された実画像を俯瞰画像に変換して表示させる俯瞰画像表示方法において、
   前記カメラによって互いに異なる複数の視点位置で撮像された実画像に基づいて、前記カメラから前記実画像内の物体までの距離を演算する距離演算ステップと、
   前記実画像内の物体の表示画面上における上下方向の位置と、前記距離演算ステップで求めた前記物体までの距離と、前記実画像の表示画面上における上下方向の位置と前記実カメラからの距離との関係を示す地面データとに基づいて、前記物体が高さを有する物体であるか否かを判定し、高さを有する物体であれば当該物体を前記実画像内で地面に対して垂直な方向に圧縮して、前記俯瞰画像を作成する画像変換処理ステップとを有することを特徴とする俯瞰画像表示方法。

Images