JP2008177856A - 俯瞰画像提供装置、車両、および俯瞰画像提供方法 - Google Patents

Abstract

【課題】地面箇所と立体物との誤認を抑制することが可能な俯瞰画像提供装置、車両、および俯瞰画像提供方法を提供する。
【解決手段】俯瞰画像提供装置２０は、抽出部２１ｂが俯瞰画像データから立体物の画像データを抽出する。その後、疑似立体物画像生成部２１ｃは、抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する。そして、付与部２１ｄは疑似立体物の画像データを俯瞰画像データに付与し、モニタ２２は疑似立体物画像データが付与された画像データに基づいて画像表示する。
【選択図】図１

Description

本発明は、俯瞰画像提供装置、車両、および俯瞰画像提供方法に関する。

従来、カメラからの撮像データを視点変換して俯瞰画像データとし、俯瞰画像を利用者に対して表示する俯瞰画像提供装置が知られている。この装置では、地面に描かれた白線等を真上から視認できることとなり、例えば駐車支援など用いられる。しかし、俯瞰画像では、立体物が正確に表示されにくく、特に立体物の高さが高くなるほど立体物の形状が実際のものと異なってしまう。

そこで、俯瞰画像中の立体物の存在する箇所に、カメラにより撮像された立体物の画像を貼り付けて表示する俯瞰画像提供装置が提案されている。この装置によれば、実際の形状に近い立体物を俯瞰画像中で表示させることができる（特許文献１参照）。
特許第３３０１４２１号公報

しかし、従来の装置では、俯瞰画像中の立体物の存在した箇所に、カメラにより撮像された立体物の画像を貼り付けるため、実際に立体物が存在しない地面箇所についても、あたかも立体物が存在するように認識されやすくなってしまう。

本発明は、上記の問題に鑑み、地面箇所と立体物との誤認を抑制することが可能な俯瞰画像提供装置、車両、および俯瞰画像提供方法を提供することを目的とする。

本発明の俯瞰画像提供装置は、カメラにより撮像されて得られた撮像データを、所定の基準面をもとに視点変換して俯瞰画像データを生成する俯瞰画像生成手段と、俯瞰画像生成手段により生成された俯瞰画像データから立体物の画像データを抽出する抽出手段と、抽出手段により抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する疑似立体物画像生成手段と、疑似立体物生成手段により生成された疑似立体物の画像データを、抽出手段によって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与する付与手段と、付与手段により疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する表示手段と、を備えることを特徴とする。

本発明の特徴に係る俯瞰画像提供装置によると、俯瞰画像中の立体物画像内に収まる大きさの疑似立体物の画像データを生成して、生成された疑似立体物の画像データを俯瞰画像データのうち立体物の画像データが存在した箇所に付与する。このため、画像表示された場合、疑似立体物は、俯瞰画像中の立体物内に収まることとなり、俯瞰画像中の地面部分に疑似立体物を貼り付けることなく、地面箇所と立体物との誤認を抑制することができる。

また、本発明の特徴に係る俯瞰画像提供装置において、疑似立体物画像生成手段は、立体物画像のうち立体物上方部分の画像を縮小した縮小立体物の画像データを生成することにより、立体物画像内に収まる大きさの疑似立体物の画像データを生成することが好ましい。

この俯瞰画像提供装置によると、疑似立体物は、俯瞰画像中の立体物の一部の画像が縮小されたものとなる。このため、疑似立体物の画像は俯瞰画像中の立体物画像に近いものとなりやすく、画像表示した場合に、利用者に与える違和感を軽減させることができる。

また、本発明の特徴に係る俯瞰画像提供装置において、疑似立体物画像生成手段は、実空間上でカメラに近い側から遠い側に向かって、カメラの光軸と基準面とのなす角度を小さくするべく基準面の角度を変化させ、各基準面に基づいて撮像データ内の立体物の画像データを視点変換する拡張変換を行うことにより、立体物画像内に収まる大きさの疑似立体物の画像データを生成することが好ましい。

この俯瞰画像提供装置によると、実空間上でカメラに遠い側は、カメラの光軸と基準面とのなす角度が小さくなり、投影面となる基準面が地面等から切り立って、立体物と基準面とのなす角度が小さくなる。このため、通常の視点変換において、立体物は俯瞰画像として表示された場合、投影面となる基準面が地面等であるため、その上方側が変形しやすく利用者に違和感を与えやすいが、基準面が地面等から切り立ち立体物となす角度が小さくなると、その変形量を抑制することができる。従って、画像表示した場合に、利用者に与える違和感を軽減させることができる。

また、本発明の特徴に係る俯瞰画像提供装置において、疑似立体物画像生成手段は、抽出手段により抽出された立体物の画像データに対応する実空間上の立体物が、実空間上でカメラから所定距離以上離れている場合に、拡張変換を行うことが好ましい。

この俯瞰画像提供装置によると、実世界上においてカメラから近い立体物は俯瞰画像に表示された場合、比較的変形量が少なくなるため、実空間上において立体物がカメラから所定距離以上離れている場合に、拡張変換を行うことで、適切に利用者に与える違和感を軽減させることができる。

また、本発明の特徴に係る俯瞰画像提供装置において、付与手段は、抽出手段によって立体物の画像データが抽出された俯瞰画像データにおける立体物の画像データが存在した箇所のうち、疑似立体物の画像データが付与された箇所を除く部分に対し、地面とは異なる色または異なる模様の画像データを付与することが好ましい。

この俯瞰画像提供装置によると、立体物の画像データが抽出された領域のうち、疑似立体物の画像データが付与された箇所を除く部分に地面とは異なる色または異なる模様の画像データを付与することにより、表示したときの違和感を軽減することができる。特に、地面とは異なる色または異なる模様を貼り付けるため、地面と混同してしまい、立体物が存在する可能性がある箇所を地面であると誤認させてしまう事態を防止することができる。

本発明の車両は、車両に設置されたカメラと、車両に搭載され、カメラにより撮像された撮像データを入力する俯瞰画像提供装置と、を備えることを特徴とする。

本発明の車両によると、車体に設置されたカメラと、俯瞰画像提供装置とを備えるため、駐車支援などに適した俯瞰画像の提供を行うことができる。

また、本発明の俯瞰画像提供方法は、カメラにより撮像されて得られた撮像データを、所定の基準面をもとに視点変換して俯瞰画像データを生成する俯瞰画像生成ステップと、俯瞰画像生成ステップにおいて生成された俯瞰画像データから立体物の画像データを抽出する抽出ステップと、抽出ステップにおいて抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する疑似立体物画像生成ステップと、疑似立体物生成ステップにおいて生成された疑似立体物の画像データを、抽出手段によって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与する付与ステップと、付与ステップにおいて疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する表示ステップと、を備えることを特徴とする。

本発明の俯瞰画像提供方法によると、俯瞰画像中の立体物画像内に収まる大きさの疑似立体物の画像データを生成して、生成された疑似立体物の画像データを俯瞰画像データのうち立体物の画像データが存在した箇所に付与する。このため、画像表示された場合、付疑似立体物は、俯瞰画像中の立体物内に収まることとなり、俯瞰画像中の地面部分に疑似立体物を貼り付けることなく、地面箇所と立体物との誤認を抑制することができる。

本発明によると、地面箇所と立体物との誤認を抑制することができる。

次に、図面を用いて、本発明の実施の形態を説明する。なお、本実施形態では、車両に搭載される俯瞰画像提供装置を例に説明する。図１は、第１実施形態に係る俯瞰画像提供装置を含む車両周囲表示システムの概略構成図であり、図２は、車両周囲表示システムの設置の様子を示す図である。図１および図２に示すように、車両周囲表示システム１は、カメラ１０と、俯瞰画像提供装置２０とを備えている。

カメラ１０は、車両の車体に設置され、車両周囲を撮像するものである。図２に示すように、カメラ１０は、俯角がα度で、光軸に対する視点変換の基準面（例えば地面）との角度がβ度で取り付けられているものとする。

俯瞰画像提供装置２０は、車両に搭載され、カメラにより撮像されて得られた撮像データを入力し、これをもとに車両を上方から見たような俯瞰画像を生成するものである。この俯瞰画像提供装置２０は、画像処理部２１と、モニタ（表示手段）２２とを備えている。

俯瞰画像提供装置２０は、地面（道路面）を基準面として俯瞰画像を生成する。このため、道路に描かれる白線などは、歪みなどが少なく実際に車両を上方側から眺めたように表示されることとなる。

モニタ２２は、俯瞰画像提供装置２０により生成された俯瞰画像を表示するものである。このモニタ２２を視認することにより、車両運転者は、車両周囲を車両上方から眺めたような画像を確認でき、周囲の障害物等を認識できることとなる。

図３は、一般的な俯瞰画像の一例等を示す図であり、（ａ）は撮像画像を示し、（ｂ）は一般的な俯瞰画像の一例を示し、（ｃ）は特許文献１に記載の技術による俯瞰画像の一例を示している。図３（ａ）に示すように、撮像画像には、立体物Ｏ１ａと地面上に描かれた円Ｏ２ａとが表示されているとする。ここで、一般的な視点変換により俯瞰画像を生成したとすると、地面が視点変換の基準面であるため、図３（ｂ）に示すように、地面に描かれる円Ｏ２ｂについては正確に表示されるが、立体物Ｏ１ｂについては変形して表示されてしまう。特に、立体物Ｏ１ｂの高さが大きい物体であったり、カメラ１０から離れた箇所に存在したりする場合など、変形量が大きくなってしまう。

このため、特許文献１に係る装置は、図３（ｃ）に示すように俯瞰画像の立体物Ｏ１ｂの位置に撮像画像の立体物Ｏ１ａを貼り付ける。これにより、特許文献１に係る装置では立体物Ｏ１の変形が防止される。しかし、立体物Ｏ１ｃの斜線部に示されるように、本来地面である箇所が立体物Ｏ１であると誤認されてしまう。特に、図３（ｃ）に示す例では、立体物Ｏ１ｃが地面に描かれる円Ｏ２ｃに重なってしまい、円Ｏ２ｃの視認性を低下させてしまう。

本実施形態に係る画像処理部２１は、このような立体物と地面との誤認を防止するように画像処理を実行するものであり、俯瞰画像生成部（俯瞰画像生成手段）２１ａと、抽出部（抽出手段）２１ｂと、疑似立体物画像生成部（疑似立体物画像生成手段）２１ｃと、付与部（付与手段）２１ｄとを有している。

俯瞰画像生成部２１ａは、カメラ１０により撮像されて得られた撮像データを、所定の基準面をもとに視点変換して俯瞰画像データを生成するものである。視点変換の詳細を説明する。

図４は、視点変換の概念を示す図である。まず、カメラ１０は、撮像範囲Ｉｗを撮像画像座標系Ｘ_ｂｕＹ_ｂｕの撮像データとして取り込む。ここで、カメラ１０は、鉛直方向をＹ_Ｗ軸とし、水平面に対して平行でＹ_Ｗ軸に対して直交する軸をＸ_Ｗ軸とし、Ｘ_Ｗ軸およびＹ_Ｗ軸に直交する軸をＺ_Ｗ軸とした実空間座標系Ｘ_ＷＹ_ＷＺ_Ｗにおいて座標（ｘ_Ｗ，ｙ_Ｗ，ｚ_Ｗ）＝（０，ｈ，０）の位置に存在する。また、カメラ１０の光軸をＺ軸とし、水平面に対して平行でＺ軸に対して直交する軸をＸ軸とし、Ｘ軸およびＺ軸に直交する軸をＹ軸としたカメラ座標系ＸＹＺが実空間座標系Ｘ_ＷＹ_ＷＺ_Ｗに対して傾いている。このため、俯瞰画像生成部２１ａは、撮像画像座標系Ｘ_ｂｕＹ_ｂｕとして取り込まれた撮像データを所定の変換式により変換して、俯瞰画像データを生成する。

具体的に、俯瞰画像生成部２１ａは、以下の変換式（１）により、撮像画像座標系Ｘ_ｂｕＹ_ｂｕの各座標（ｘ_ｂｕ，ｙ_ｂｕ）を、地面座標系Ｘ_ＷＺ_Ｗの座標（ｘ_ｗ，ｙ_ｗ）に変換する。

なお、上記変換式（１）は、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と実空間座標系Ｘ_ＷＹ_ＷＺ_Ｗの座標（ｘ_Ｗ，ｙ_Ｗ，ｚ_Ｗ）との変換式（２）、および、撮像画像座標系Ｘ_ｂｕＹ_ｂｕとカメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との変換式（３）とから得られるものである。

次に、俯瞰画像生成部２１ａは、式（１）により得られた地面座標系Ｘ_ＷＺ_Ｗの座標（ｘ_ｗ，ｙ_ｗ）を変換式（４）により俯瞰画像座標系Ｘ_ａｕＹ_ａｕの各座標（ｘ_ａｕ，ｙ_ａｕ）とする。

以上のようにして俯瞰画像生成部２１ａは、撮像画像座標系Ｘ_ｂｕＹ_ｂｕの各座標（ｘ_ｂｕ，ｙ_ｂｕ）を、俯瞰画像座標系Ｘ_ａｕＹ_ａｕの各座標（ｘ_ａｕ，ｙ_ａｕ）に変換する（すなわち撮像データをもとに俯瞰画像データを生成する）。なお、上記各式においてθは図２において示したβ度が用いられ、ｆはカメラ１０の焦点距離である。

抽出部２１ｂは、俯瞰画像生成部２１ａにより生成された俯瞰画像データから、立体物の画像データを抽出するものである。立体物の抽出法としては複数あり、その１手法としては、例えば車両周囲表示システム１が同方向を撮像する２つ以上のカメラ１０を備え、俯瞰画像生成部２１ａが２つのカメラ１０によって撮像された撮像データを俯瞰画像データに変換し、抽出部２２ａが両者の像の相違から立体物を抽出するものがある。また、車両周囲表示システム１が２つのカメラ１０を備えなくとも、抽出部２１ｂは、時刻ｔ１と時刻ｔ２（時刻ｔ１と相違する時刻）との俯瞰画像データから立体物を抽出してもよい。なお、立体物の抽出法は上記に限るものではない。

疑似立体物画像生成部２１ｃは、抽出部２１ｂにより抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成するものである。付与部２１ｄは、疑似立体物画像生成部２１ｃにより生成された疑似立体物の画像データを、抽出部２１ｂによって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与するものである。

図５は、図１に示した疑似立体物画像生成部２１ｃおよび付与部２１ｄの処理の概念を示す図である。図５に示すような俯瞰画像Ａが俯瞰画像生成部２１ａにより生成されたとする。この場合、前述したように抽出部２１ｂは、立体物Ｏ１の画像データを抽出する。これにより、立体物Ｏ１が抽出された俯瞰画像Ｂのデータと、立体物Ｏ１の画像データとに分離されることとなる。

次いで、疑似立体物画像生成部２１ｃは、立体物Ｏ１の画像データから、疑似立体物画像Ｇ１のデータを生成する。このとき、立体物画像Ｏ１のうち立体物上方部分の画像を切り出し、これを縮小する処理を施す。以上により、疑似立体物画像生成部２１ｃは、立体物Ｏ１の画像データから、立体物画像Ｏ１に収まる大きさの疑似立体物画像Ｇ１のデータを生成する。

その後、付与部２１ｄは、俯瞰画像Ａにおいて立体物Ｏ１が存在した俯瞰画像Ｂの箇所に、疑似立体物画像Ｇ１を付与する（貼り付ける）。これにより、付与部２１ｄは、疑似立体物画像Ｇ１が付与された付与後の俯瞰画像Ｃを得る。

なお、疑似立体物画像生成部２１ｃの縮小は以下のようにされることが望ましい。すなわち、疑似立体物画像生成部２１ｃは、立体物画像Ｏ１の底面の形状と疑似立体物画像Ｇ１の底面の形状とが同じとなるようにすることが望ましい。これにより、疑似立体物画像Ｇ１を付与した場合に、地面部分が一致することとなり、画像表示した場合に、利用者に与える違和感を軽減できるからである。具体的に、図５に示す例では、立体物が直方体であるため、画像横方向に延びる一辺の長さをＬ１に統一し、画像縦方向に延びる一辺の長さをＬ２に統一することが望ましい。

さらに、付与部２１ｄは、抽出部２１ｂによって立体物の画像データが抽出された俯瞰画像（例えば図５に示す俯瞰画像Ｂ）のデータにおける立体物が存在した箇所のうち、疑似立体物の画像データが付与された箇所を除く部分に対し、地面とは異なる色または模様の画像データを付与する。

図６は、図１に示した付与部２１ｄの処理の概念を示す図である。立体物Ｏ１の画像データを抽出し疑似立体物Ｇ１の画像データを付与した場合、利用者は、画像が表示されたときに、図６に示す斜線箇所の部分について違和感を覚えてしまう。このため、付与部２１ｄは、図６に示す斜線箇所に対して地面とは異なる色または模様の画像データを付与する。これにより、違和感を軽減することができる。

なお、斜線部分に対して、地面と同じ色または模様の画像データを付与するよりも、地面とは異なる色または模様の画像データを付与する方が望ましい。斜線箇所が地面と混同されてしまい、実空間上で立体物Ｏ１が存在するかもしれない箇所を地面であると誤認してしまう可能性があるからである。なお、付与部２１ｄは、斜線箇所に、灰色や斜線など、利用者に疑似立体物Ｇ１の陰を連想させる色や模様を付与することが一層望ましい。これにより、陰を表現でき、一層違和感を軽減できるからである。

そして、上記のモニタ２２は、画像処理部２１によって以上のように処理された疑似立体物の画像データおよび地面とは異なる色または模様の画像データが付与された付与後の俯瞰画像データに基づいて画像表示することとなる。このため、画像表示された場合、疑似立体物は、俯瞰画像中の立体物内に収まることとなり、俯瞰画像中の地面部分に疑似立体物を貼り付けることなく、地面箇所と立体物との誤認を抑制することができる。

次に、本実施形態に係る俯瞰画像提供方法を説明する。図７は、第１実施形態に係る俯瞰画像提供方法の一例を示すフローチャートである。図７に示すように、まず画像処理部２１の俯瞰画像生成部２１ａは、カメラ１０により撮像されて得られた撮像データを入力する（ステップＳ１）。

次に、俯瞰画像生成部２１ａは、上記式（１）〜（４）を参照して説明したようにして、俯瞰画像データを生成する（ステップＳ２）。その後、抽出部２１ｂは、図５を参照して説明したように、俯瞰画像データから立体物の画像データを抽出する（ステップＳ３）。次いで、疑似立体物画像生成部２１ｃは、立体物画像の上部を切り出す（ステップＳ４）。

その後、疑似立体物画像生成部２１ｃは、ステップＳ４において切り出された立体物上方部分の画像をスケール変換して、疑似立体物の画像データを生成する（ステップＳ５）。次に、付与部２１ｄは、図５に示したように、疑似立体物の画像データを、立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが抽出された箇所に付与する（ステップＳ６）。このとき、付与部２１ｄは、疑似立体物と立体物との底部を合わせて、疑似立体物の画像データを貼り合わせることが望ましい。さらに、付与部２１ｄは、立体物の画像データが存在した箇所のうち、疑似立体物の画像データが付与されなかった箇所に、地面とは異なる色または模様の画像データを付与することが望ましい。

その後、モニタ２２は、疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する（ステップＳ７）。そして、図７に示す処理は俯瞰画像提供装置２０の電源がオフされるまで、繰り返される。

このようにして、第１実施形態に係る俯瞰画像提供装置２０および俯瞰画像提供方法によれば、俯瞰画像中の立体物画像内に収まる大きさの疑似立体物の画像データを生成して、生成された疑似立体物の画像データを俯瞰画像データのうち立体物の画像データが存在した箇所に付与する。このため、画像表示された場合、疑似立体物は、俯瞰画像中の立体物内に収まることとなり、俯瞰画像中の地面部分に疑似立体物を貼り付けることなく、地面箇所と立体物との誤認を抑制することができる。

また、第１実施形態によれば、疑似立体物は、俯瞰画像中の立体物の一部の画像が縮小されたものとなる。このため、疑似立体物の画像は俯瞰画像中の立体物画像に近いものとなりやすく、画像表示した場合に、利用者に与える違和感を軽減させることができる。

また、第１実施形態によれば、立体物の画像データが抽出された領域のうち、疑似立体物の画像データが付与された箇所を除く部分に地面とは異なる色または異なる模様の画像データを付与することにより、表示したときの違和感を軽減することができる。特に、地面とは異なる色または異なる模様を貼り付けるため、地面と混同してしまい、立体物が存在する可能性がある箇所を地面であると誤認させてしまう事態を防止することができる。

次に、本発明の第２実施形態を説明する。第２実施形態に係る俯瞰画像提供装置２０は、第１実施形態のものと同様であるが、構成及び処理内容が異なっている。以下、第１実施形態との相違点を説明する。

図８は、第２実施形態に係る俯瞰画像提供装置を含む車両周囲表示システムの概略構成図である。図８に示すように、疑似立体物画像生成部２１ｃは、カメラ１０からの撮像データを入力する構成となっている。さらに、疑似立体物画像生成部２１ｃは、疑似立体物の画像データの生成方法が第１実施形態と異なっている。

まず、第２実施形態に係る疑似立体物の画像データの生成方法を説明するのに先立って、撮像データを俯瞰画像データに視点変換して表示したときに、立体物が変形する様子を説明する。図９は、俯瞰画像において立体物が変形する様子を示す図である。図９に示すように、撮像データは投影面となる地面を基準面として視点変換されるため、立体物は俯瞰画像において投影像Ｐ１のように変形することとなる。特に立体物の上方側の変形量は大きくなる。

図１０は、第２実施形態に係る疑似立体物画像生成部２１ｃによる疑似立体物画像データの生成手法の概念を示す図である。図１０に示すように、第２実施形態に係る疑似立体物画像生成部２１ｃは、実空間上でカメラ１０に近い側から遠い側に向かって、カメラ１０の光軸と基準面とのなす角度を小さくするべく基準面の角度を変化させて視点変換する拡張変換を行う。具体的に疑似立体物画像生成部２１ｃは、実空間上でカメラ１０に近い側から遠い側に向かって、変換式（１）のθを小さくしていくことにより、拡張変換を行う。すなわち、拡張変換では、実空間上でカメラ１０に近い側では基準面Ｂ０は地面であり、次に実空間上でカメラ１０から遠い領域では基準面Ｂ１は地面に対しθ１（＞０）度傾けられており、さらに実空間上でカメラ１０から遠い領域では基準面Ｂ２は地面に対しθ２（＞θ１）度傾けられている。またさらに実空間上でカメラ１０から遠い領域では基準面Ｂ３は地面に対しθ３（＞θ２）度傾けられている。

疑似立体物画像生成部２１ｃは、上記拡張変換を撮像データ内の立体物の画像データに対して行う。これにより、疑似立体物の画像データは、俯瞰画像において例えば図１０に示す投影像Ｐ２のように表示されることとなる。これにより、立体物の変形量を抑制することができ、利用者に与える違和感を軽減させることができる。

また、疑似立体物画像生成部２１ｃは、抽出部２１ｂにより抽出された立体物の画像データに対応する実空間上の立体物が、実空間上でカメラ１０から所定距離以上離れている場合に、拡張変換を行う。実世界上においてカメラ１０から近い立体物は俯瞰画像に表示された場合、比較的変形量が少なくなる。このため、実空間上において立体物がカメラ１０から所定距離以上離れている場合に、拡張変換を行うことで、適切に利用者に与える違和感を軽減させることができる。

ここで、カメラ１０から立体物までの距離は、超音波センサなどによって求めてもよい。また、距離は、撮像画像における座標値から求めてもよい。この場合、撮像画像における座標値と距離との関係を予め求めておき、カメラ１０による撮像時に立体物と地面との接点位置の座標値から距離を求めることとなる。

図１１は、カメラ１０から立体物までの距離と拡張変換との関係を示す図である。例えば疑似立体物画像生成部２１ｃは、図１１に示すように撮像画像の座標位置から予めカメラ１０から所定距離以上離れている領域を求めておき、この領域を拡張変換領域としておく。そして、疑似立体物画像生成部２１ｃは、撮像データ中の拡張変換領域に立体物が映っている場合に、その立体物の画像データに対して拡張変換を行うこととなる。

図１２は、第２実施形態に係る俯瞰画像提供方法の一例を示すフローチャートである。なお、図１２に示すステップＳ１０〜Ｓ１２の処理は、図７に示すステップＳ１〜Ｓ３の処理と同様であるため、説明を省略する。

ステップＳ１２の後、疑似立体物画像生成部２１ｃは立体物がカメラ１０から所定距離以上であるか否かを判断する（ステップＳ１３）。立体物がカメラ１０から所定距離以上でないと判断した場合（ステップＳ１３：ＮＯ）、処理はステップＳ１６に移行する。

一方、立体物がカメラ１０から所定距離以上であると判断した場合（ステップＳ１３：ＹＥＳ）、疑似立体物画像生成部２１ｃは、立体物の画像データに対して拡張変換処理を実行する（ステップＳ１４）。そして、付与部２１ｄは、疑似立体物の画像データを、立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが抽出された箇所に付与する（ステップＳ１５）。さらに、付与部２１ｄは、立体物の画像データが存在した箇所のうち、疑似立体物の画像データが付与されなかった箇所に、地面とは異なる色または模様の画像データを付与することが望ましい。

その後、画像処理部２１は、撮像データ中の全ての立体物の画像データに対して、ステップＳ１３〜Ｓ１５の処理を実行したか否かを判断する（ステップＳ１６）。全ての立体物の画像データに対してステップＳ１３〜Ｓ１５の処理を実行していないと判断した場合（ステップＳ１６：ＮＯ）、処理はステップＳ１３に移行する。

一方、全ての立体物の画像データに対してステップＳ１３〜Ｓ１５の処理を実行したと判断した場合（ステップＳ１６：ＹＥＳ）、モニタ２２は、疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する（ステップＳ１７）。そして、図１２に示す処理は俯瞰画像提供装置２０の電源がオフされるまで、繰り返される。

このようにして、第２実施形態に係る俯瞰画像提供装置２０および俯瞰画像提供方法によれば、第１実施形態と同様に、地面箇所と立体物との誤認を抑制することができる。また、地面とは異なる色または異なる模様の画像データを付与することにより、表示したときの違和感を軽減することができる。特に、地面とは異なる色または異なる模様を貼り付けるため、地面と混同してしまい、本来立体物が存在する箇所を地面であると誤認させてしまう事態を防止することができる。
さらに、第２実施形態によれば、拡張変換を行うため、実空間上でカメラ１０に遠い側は、カメラ１０の光軸と基準面とのなす角度が小さくなり、投影面となる基準面が地面等から切り立って、立体物と基準面とのなす角度が小さくなる。このため、通常の視点変換において、立体物は俯瞰画像として表示された場合、投影面となる基準面が地面等であるため、その上方側が変形しやすく利用者に違和感を与えやすいが、基準面が地面等から切り立ち立体物となす角度が小さくなると、その変形量を抑制することができる。従って、画像表示した場合に、利用者に与える違和感を軽減させることができる。

さらに、第２実施形態によれば、実空間上においてカメラ１０から近い立体物は俯瞰画像に表示された場合、比較的変形量が少なくなるため、実空間上において立体物がカメラ１０から所定距離以上離れている場合に、拡張変換を行うことで、適切に利用者に与える違和感を軽減させることができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では画像についてのみ説明したが、画像が連続する映像についても同様に違和感を軽減することができる。

また、俯瞰画像生成部２１ａは、変換式（１）により撮像画像座標系Ｘ_ｂｕＹ_ｂｕの各座標（ｘ_ｂｕ，ｙ_ｂｕ）を地面座標系Ｘ_ＷＺ_Ｗの座標（ｘ_ｗ，ｙ_ｗ）に変換し、その後、変換式（４）により地面座標系Ｘ_ＷＺ_Ｗの座標（ｘ_ｗ，ｙ_ｗ）を俯瞰画像座標系Ｘ_ａｕＹ_ａｕの各座標（ｘ_ａｕ，ｙ_ａｕ）としていたが、これに限らず、変換式（１）および変換式（４）から得られる変換式により直接撮像画像座標系Ｘ_ｂｕＹ_ｂｕの各座標（ｘ_ｂｕ，ｙ_ｂｕ）を俯瞰画像座標系Ｘ_ａｕＹ_ａｕの各座標（ｘ_ａｕ，ｙ_ａｕ）に変換してもよい。

第１実施形態に係る俯瞰画像提供装置を含む車両周囲表示システムの概略構成図である。 車両周囲表示システムの設置の様子を示す図である。 一般的な俯瞰画像の一例等を示す図であり、（ａ）は撮像画像を示し、（ｂ）は一般的な俯瞰画像の一例を示し、（ｃ）は特許文献１に記載の技術による俯瞰画像の一例を示している。 視点変換の概念を示す図である。 図１に示した疑似立体物画像生成部および付与部の処理の概念を示す図である。 図１に示した付与部の処理の概念を示す図である。 第１実施形態に係る俯瞰画像提供方法の一例を示すフローチャートである。 第２実施形態に係る俯瞰画像提供装置を含む車両周囲表示システムの概略構成図である。 俯瞰画像において立体物が変形する様子を示す図である。 第２実施形態に係る疑似立体物画像生成部による疑似立体物画像データの生成手法の概念を示す図である。 カメラから立体物までの距離と拡張変換との関係を示す図である。 第２実施形態に係る俯瞰画像提供方法の一例を示すフローチャートである。

符号の説明

１０…カメラ
２０…俯瞰画像提供装置
２１…画像処理部
２１ａ…俯瞰画像生成部
２１ｂ…抽出部
２１ｃ…疑似立体物画像生成部
２１ｄ…付与部
２２…モニタ

Claims (7)

1. カメラにより撮像されて得られた撮像データを、所定の基準面をもとに視点変換して俯瞰画像データを生成する俯瞰画像生成手段と、
   前記俯瞰画像生成手段により生成された俯瞰画像データから立体物の画像データを抽出する抽出手段と、
   前記抽出手段により抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する疑似立体物画像生成手段と、
   前記疑似立体物生成手段により生成された疑似立体物の画像データを、前記抽出手段によって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与する付与手段と、
   前記付与手段により疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する表示手段と、
   を備えることを特徴とする俯瞰画像提供装置。
2. 前記疑似立体物画像生成手段は、前記立体物画像のうち立体物上方部分の画像を縮小した縮小立体物の画像データを生成することにより、前記立体物画像内に収まる大きさの疑似立体物の画像データを生成する
   ことを特徴とする請求項１に記載の俯瞰画像提供装置。
3. 前記疑似立体物画像生成手段は、実空間上でカメラに近い側から遠い側に向かって、カメラの光軸と前記基準面とのなす角度を小さくするべく前記基準面の角度を変化させ、各基準面に基づいて前記撮像データ内の立体物の画像データを視点変換する拡張変換を行うことにより、前記立体物画像内に収まる大きさの疑似立体物の画像データを生成する
   ことを特徴とする請求項１または請求項２のいずれかに記載の俯瞰画像提供装置。
4. 前記疑似立体物画像生成手段は、前記抽出手段により抽出された立体物の画像データに対応する実空間上の立体物が、実空間上でカメラから所定距離以上離れている場合に、前記拡張変換を行う
   ことを特徴とする請求項３に記載の俯瞰画像提供装置。
5. 前記付与手段は、前記抽出手段によって立体物の画像データが抽出された俯瞰画像データにおける立体物の画像データが存在した箇所のうち、前記疑似立体物の画像データが付与された箇所を除く部分に対し、地面とは異なる色または異なる模様の画像データを付与する
   ことを特徴とする請求項１〜請求項４のいずれか１項に記載の俯瞰画像提供装置。
6. 車両に設置されたカメラと、
   前記車両に搭載され、カメラにより撮像された撮像データを入力する請求項１〜請求項５のいずれか１項に記載の俯瞰画像提供装置と、
   を備えることを特徴とする車両。
7. カメラにより撮像されて得られた撮像データを、所定の基準面をもとに視点変換して俯瞰画像データを生成する俯瞰画像生成ステップと、
   前記俯瞰画像生成ステップにおいて生成された俯瞰画像データから立体物の画像データを抽出する抽出ステップと、
   前記抽出ステップにおいて抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する疑似立体物画像生成ステップと、
   前記疑似立体物生成ステップにおいて生成された疑似立体物の画像データを、前記抽出手段によって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与する付与ステップと、
   前記付与ステップにおいて疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する表示ステップと、
   を備えることを特徴とする俯瞰画像提供方法。