JP2015184804A - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

Abstract

【課題】障害物と車両との距離を正確に把握しやすくなる画像表示装置、画像表示方法及び画像表示プログラムを提供する。【解決手段】本発明に係る画像表示装置１００は、周辺を撮影する車載カメラ１１０と、撮影画像を座標変換することにより、地表の特定領域を特定地点から見た変換画像を作成する画像変換部１１１と、車両の一部を地表に投影した二次元モデルを作成する二次元モデル作成部１２１と、車両の周辺の障害物情報を取得する障害物情報取得部１３０と、障害物情報を地表に投影した二次元座標データに変換する座標変換処理部１３１と、特定地点から見た二次元座標データの視角の各角度において、特定地点に最も近い部分を障害線として抽出する障害線抽出部１３２と、二次元モデル及び障害線を変換画像に合成して合成画像を生成する画像合成部１４０と、合成画像を表示する表示部１５１とを備える。【選択図】図３

Description

本発明は、車両の周辺の情報を、平面上に投影することにより二次元情報として提供する画像表示装置、画像表示方法及び画像表示プログラムに関する。

従来、車両に搭載された複数のカメラの撮影画像に基づいて作成された車両の周辺の画像と、車両の三次元モデルとを合成することによって生成した画像を、車両のユーザに提供し、車両の空間的位置を把握させる装置が知られている。例えば、特許文献１には、車載カメラの撮影画像を、運転席や車両鉛直上方から見た画像に変換し、変換した画像に車両の一部の三次元モデルを合成した画像を合成して、車両の周辺の障害物等と車両との空間的位置をユーザに把握させる装置が記載されている。

特開２００９−０８７２２８号公報

しかしながら、車両鉛直上方からの俯瞰画像は、車載カメラが撮影した画像を、上方から見た画像に変換することにより作成されるため、ユーザには車両の近辺の限られた領域の画像しか表示されない。そのため、ユーザが直接見ている車両の前方の画像に対して、装置により提供される画像の範囲は小さく、ユーザへの情報提供エリアが限定される。

また、運転席からの鳥瞰画像は、車両の周辺の画像と車両の三次元モデルとの合成により生成されるため、ユーザは、鳥瞰画像を見ても、車両から周辺の障害物までの距離を正確に把握することが難しい。

また、障害物の地表との接触面が、車両の進行方向上に存在しない場合であっても、障害物が接触面よりも進行方向上に迫り出している場合がある。例えば、塀に掛けられたポストやプランター等は、塀から道路側へ迫り出している場合がある。また、歩道に植えられた木の枝は、道路側に突き出して伸びている場合がある。また、道路標識は、標識部分を支える支持部分（ポール）よりも、標識部分が広がっている場合が多い。従来の装置は、障害物の高さを考慮していないため、ユーザは、かかる障害物の迫り出した部分の位置を把握することが困難であった。そのため、ユーザが俯瞰画像又は鳥瞰画像を確認して車両を運転しても、道路側へ迫り出した木の枝や標識等の障害物と車両とが接触するおそれがあった。

かかる観点に鑑みてなされた本発明の目的は、障害物と車両との距離を正確に把握しやすくなる画像表示装置、画像表示方法及び画像表示プログラムを提供することにある。

上記課題を解決するために、第１の発明に係る画像表示装置は、
車両の周辺を撮影する車載カメラと、
前記車載カメラが撮影した撮影画像を座標変換することにより、地表の特定領域を特定地点から見た変換画像を作成する画像変換部と、
前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部を前記地表に投影した二次元モデルを作成する二次元モデル作成部と、
前記車両の周辺の障害物までの距離及び前記障害物の形状に関する障害物情報を取得する障害物情報取得部と、
前記障害物情報を前記地表に投影した二次元座標データに変換する座標変換処理部と、
前記特定地点から見た前記二次元座標データの視角の各角度において、前記特定地点に最も近い部分を障害線として抽出する障害線抽出部と、
前記二次元モデル及び前記障害線を、前記変換画像に合成することにより合成画像を生成する画像合成部と、
前記合成画像を表示する表示部と
を備えることを特徴とする。

また、第２の発明に係る画像表示装置は、
前記車載カメラを複数備え、
前記画像変換部は、前記車載カメラがそれぞれ撮影した撮影画像を連結して一つの連結画像を生成し、該連結画像を前記特定地点から見た画像に座標変換することにより、前記変換画像を作成する。

また、第３の発明に係る画像表示装置は、
前記障害物情報取得部を複数備え、
前記座標変換処理部は、前記障害物情報取得部がそれぞれ取得した障害物情報を連結して一つの連結障害物情報を生成し、該連結障害物情報を前記地表に投影した二次元座標データに変換する。

また、第４の発明に係る画像表示装置は、
前記特定地点は、前記車両の運転席である。

また、第５の発明に係る画像表示装置は、
前記障害物情報取得部は、前記車両の車高以下の前記障害物情報を取得する。

また、第６の発明に係る画像表示装置は、
前記車両の一部は、前記車両の外形を含む。

また、第７の発明に係る画像表示装置は、
前記車両の一部は、前記車両のステアリングの操舵角に応じた角度で表現される車輪の外形を含む。

また、第８の発明に係る画像表示装置は、
前記二次元モデル作成部は、前記車両の走行速度及び加速度並びにステアリングの操舵角に基づいて作成した、前記車両の予想走行経路を前記二次元モデルに付加する。

また、第９の発明に係る画像表示方法は、
画像表示装置による画像表示方法であって、
車両の周辺を撮影するステップと、
前記撮影した撮影画像を座標変換することにより、地表の特定領域を特定地点から見た変換画像を作成するステップと、
前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部を前記地表に投影した二次元モデルを作成するステップと、
前記車両から前記車両の周辺の障害物までの距離及び前記障害物の形状に関する障害物情報を取得するステップと、
前記障害物情報を前記地表に投影した二次元座標データに変換するステップと、
前記特定地点から見た前記二次元座標データの視角の各角度において、前記特定地点に最も近い部分を障害線として抽出するステップと、
前記二次元モデル及び前記障害線を、前記変換画像に合成することにより合成画像を生成するステップと、
前記合成画像を表示部に表示するステップと
を含むことを特徴とする。

また、第１０の発明に係る画像表示プログラムは、
画像表示装置として構成するコンピュータに、
車両の周辺を撮影するステップと、
前記撮影した撮影画像を座標変換することにより、地表の特定領域を特定地点から見た変換画像を作成するステップと、
前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部を前記地表に投影した二次元モデルを作成するステップと、
前記車両から前記車両の周辺の障害物までの距離及び前記障害物の形状に関する障害物情報を取得するステップと、
前記障害物情報を前記地表に投影した二次元座標データに変換するステップと、
前記特定地点から見た前記二次元座標データの視角の各角度において、前記特定地点に最も近い部分を障害線として抽出するステップと、
前記二次元モデル及び前記障害線を、前記変換画像に合成することにより合成画像を生成するステップと、
前記合成画像を表示部に表示するステップと
を実行させる。

第１の発明に係る画像表示装置によれば、車両の情報と障害線とを地表に投影した合成画像がユーザに提供されるため、ユーザは、障害物と車両との距離を正確に把握しやすくなる。また、障害線は、障害物の高さを考慮して決定された、二次元座標データの視角の各角度において基準となる特定地点に最も近い部分であるため、高さの情報を含めた障害物の外形の情報がユーザに提供される。そのため、ユーザは、障害線を確認することによって、車両と、高さを考慮した障害物との距離を把握しやすくなる。その結果、車両と障害物との接触を回避しやすくなる。

また、第２の発明に係る画像表示装置によれば、複数の車載カメラを使用して広い範囲の画像を撮影することができ、ユーザに、より広範な周辺の情報を提供することができる。また、車両の異なる位置に配置された複数の車載カメラを使用して画像を撮影する場合には、複数の撮影画像から変換画像を作成できるため、より詳細な周辺の情報を有する変換画像を作成できる。

また、第３の発明に係る画像表示装置によれば、複数の障害物情報取得部を使用して広い範囲の障害物情報を取得することができ、ユーザに、より広範な周辺の情報を提供することができる。また、車両の異なる位置に配置された複数の障害物情報取得部を使用して障害物情報を撮影する場合には、複数の障害物情報に基づいて障害線を抽出できるため、より詳細な障害線を表示する合成画像をユーザに提供できる。

また、第４の発明に係る画像表示装置によれば、運転席から見た合成画像をユーザに提供できるため、ユーザは、自分が直接見ている車両の周辺の画像と、提供された合成画像とを容易に比較できる。

また、第５の発明に係る画像表示装置によれば、車両の車高以下の障害物の障害線が合成画像に表示されるため、ユーザは、表示された障害線を避けて運転することにより、車両と障害物との衝突を回避できる。

また、第６の発明に係る画像表示装置によれば、車両の外形が合成画像に表示されるため、ユーザは、車両と障害物との位置関係を容易に把握しやすくなる。

また、第７の発明に係る画像表示装置によれば、運転中の車両の車輪の向きが合成画像に表示されるため、ユーザは、車両が走行しようとする方向に障害物があるか否かを把握しやすくなる。

また、第８の発明に係る画像表示装置によれば、車両の予想走行経路が合成画像に表示されるため、ユーザは、予想走行経路上に障害物があるか否かを事前に判断しやすくなる。

また、第９の発明に係る画像表示方法によれば、車両の情報と障害線とを地表に投影した合成画像がユーザに提供されるため、ユーザは、障害物と車両との距離を正確に把握しやすくなる。また、障害線は、障害物の高さを考慮して決定された、二次元座標データの視角の各角度において基準となる特定地点に最も近い部分であるため、高さの情報を含めた障害物の外形の情報がユーザに提供される。そのため、ユーザは、障害線を確認することによって、車両と障害物との距離を把握しやすくなる。その結果、車両と障害物との接触を回避しやすくなる。

また、第１０の発明に係る画像表示プログラムによれば、車両の情報と障害線とを地表に投影した合成画像がユーザに提供されるため、ユーザは、障害物と車両との距離を正確に把握しやすくなる。また、障害線は、障害物の高さを考慮して決定された、二次元座標データの視角の各角度において基準となる特定地点に最も近い部分であるため、高さの情報を含めた障害物の外形の情報がユーザに提供される。そのため、ユーザは、障害線を確認することによって、車両と障害物との距離を把握しやすくなる。その結果、車両と障害物との接触を回避しやすくなる。

本発明の一実施の形態に係る画像表示装置の使用の例を示す図である。 図１に示す車両の運転席から障害物を見た図である。 本発明の一実施の形態に係る画像表示装置の概略構成を示す機能ブロック図である。 車載カメラ及び障害物情報取得部の車両への搭載の一例を示す図である。 障害線抽出部が抽出した障害線の例を示す図である。 本発明の一実施の形態に係る画像表示装置が生成する合成画像の一例を示す図である。 図２に示す画像表示装置が行う一連の処理の例を示すフローチャートである。 合成画像の変形例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

図１は、本発明の一実施の形態に係る画像表示装置の使用の例を示す図である。図１に示す例においては、車両４００が画像表示装置を搭載する。車両４００は、地表４４０上を走行し、車両４００の前方には、障害物として、車止めブロック４１０と、コーン４２０と、標識４３０とが存在する。図２は、図１に示す車両の運転席から障害物を見た図であり、図１の視野４５０において見た図である。但し、図２においては、車両４００を図示しておらず、障害物のみを示している。

画像表示装置は、車両４００の周辺の情報をユーザに提供する。本実施の形態の説明においては、画像表示装置は、車両４００の前方の視野４５０で見ることのできる領域の情報、すなわち図２で示した領域の情報をユーザに提供するとして説明するが、画像表示装置が提供する情報は、視野４５０で見ることのできる領域の情報に限定されず、また、車両４００の前方の情報に限定されない。画像表示装置が提供する情報は、周囲の任意の方向の画像であってもよく、例えば、車両４００の後方の情報であってもよい。後方の情報をユーザに提供する場合には、ユーザは、車両４００を後方に進行させる場合に、車両４００と後方の障害物との距離を把握しやすくなる。その結果、車両と障害物との接触を回避しやすくなる。

画像表示装置は、車両４００が搭載する車載カメラが撮影した撮影画像を、地表４４０の特定領域を特定地点から見た画像に座標変換することにより、変換画像を作成する。また、画像表示装置は、特定領域を特定地点から見る際に視野に入る車両４００の一部を地表４４０に投影した二次元モデルを作成する。また、画像表示装置は、車両４００が搭載する障害物情報取得部が取得した障害物情報から障害線を抽出する。障害線は、障害物を地表４４０に投影した場合に、特定地点から見た投影された二次元座標データの視角の各角度において、特定地点に最も近い部分を結ぶ線である。画像表示装置による障害線の抽出方法の詳細は、後述する。そして、画像表示装置は、二次元モデル及び障害線を、変換画像に合成することにより合成画像を生成し、合成画像を車両４００が備えるディスプレイに表示させる。このようにして、画像表示装置はユーザに情報を提供する。なお、本実施の形態においては、特定領域を図２で示した領域とし、特定地点を車両４００の運転席として説明する。運転席から見た合成画像をユーザに提供する場合には、ユーザは、自分が直接見ている車両４００の前方の画像と、提供された合成画像とを容易に比較できる。

図３は、本発明の一実施の形態に係る画像表示装置の概略構成を示す機能ブロック図である。画像表示装置１００は、複数の車載カメラ１１０、画像変換部１１１、車両情報取得部１２０、二次元モデル作成部１２１、障害物情報取得部１３０、座標変換処理部１３１、障害線抽出部１３２、画像合成部１４０及びディスプレイ１５０を備える。

変換画像の作成は、車載カメラ１１０及び画像変換部１１１を用いて行われる。車載カメラ１１０は、例えばＣＣＤカメラで構成され、車載カメラ１１０の前方を連続して撮影する。車載カメラ１１０は、車両４００に搭載され、車両４００の周辺を撮影する。

図４は、車載カメラ及び障害物情報取得部の車両への搭載の一例を示す図である。図４に示す例では、２個の車載カメラ１１０が車両４００の各ドアミラーの前方に搭載されているが、車載カメラ１１０の個数及び配置は、図４に示すものに限定されない。例えば、車両４００は単数の車載カメラ１１０を車両４００の中央前方に搭載してもよい。また、例えば、車両４００は３個以上の車載カメラ１１０を車両４００に搭載してもよい。車両４００が複数の車載カメラ１１０を搭載する場合、すなわち画像表示装置１００が複数の車載カメラ１１０を備える場合、複数の車載カメラ１１０を使用して広い範囲の画像を撮影することができ、ユーザに、より広範な周辺の情報を提供することができる。また、車両４００の異なる位置に配置された複数の車載カメラ１１０を使用して画像を撮影する場合には、複数の撮影画像から変換画像を作成できるため、より詳細な周辺の情報を有する変換画像を作成できる。

画像変換部１１１は、車載カメラ１１０が撮影した撮影画像を、地表４４０の特定領域を特定地点から見た画像に座標変換することにより、変換画像を作成する。具体的には、画像変換部１１１は、まず車載カメラ１１０が撮影した撮影画像を取得する。そして、画像変換部１１１は、座標系を変換するための行列式を用いて行列演算を行うことで、取得した撮影画像を、図２に示すような車両４００の運転席から見た画像に変換する。

車両４００が複数の車載カメラ１１０を搭載する場合、画像変換部１１１は、車載カメラ１１０がそれぞれ撮影した撮影画像を連結して一つの連結画像を生成し、連結画像を特定地点から見た画像に座標変換することにより、変換画像を作成する。具体的には、まず画像変換部１１１は、複数の車載カメラ１１０がそれぞれ撮影した撮影画像を取得する。そして、画像変換部１１１は、例えばパノラマ写真のように各撮影画像の端部を重ね合わせ、重複部分を一次変換等の画像処理によって連結する。そして、画像変換部１１１は、座標系を変換するための行列式を用いて行列演算を行うことで、変換画像を作成する。

二次元モデルの作成は、車両情報取得部１２０及び二次元モデル作成部１２１を用いて行われる。車両情報取得部１２０は、車両４００の位置及び走行に関する車両情報を取得する。車両情報は、例えば、車両４００の外形を示す情報、車両４００のステアリングの操舵角及び操舵角に対応する車輪の外形及び向き、並びに車両４００の走行速度及び加速度等の情報である。

二次元モデル作成部１２１は、車両情報に基づいて、特定領域を特定地点から見る際に視野に入る車両４００の一部を地表４４０に投影した二次元モデルを作成する。具体的には、二次元モデル作成部１２１は、車両情報取得部１２０から車両情報を取得する。そして、二次元モデル作成部１２１は、車両情報に基づいて、運転席から見る際に視野に入る車両４００の一部を地表４４０に投影した二次元モデルを作成する。二次元モデルに含まれる車両４００の一部は、車両４００と障害物との位置関係及び距離関係をユーザが把握するために使用される。本実施の形態では、二次元モデル作成部１２１は、例えば、車両４００の外形を地表４４０に投影した二次元モデルを作成するとして、以下説明する。

障害線の抽出は、障害物情報取得部１３０、座標変換処理部１３１及び障害線抽出部１３２を用いて行われる。障害物情報取得部１３０は、例えば、ステレオカメラ、三次元距離センサ又はレーザレンジ等で構成される。障害物情報取得部１３０は、車両４００の周辺の障害物までの距離及び障害物の形状に関する障害物情報を取得する。

図４に示す例では、１つの障害物情報取得部１３０が車両４００の天井の前方中央部に搭載されている。但し、障害物情報取得部１３０の個数及び配置は、図４に示すものに限定されない。すなわち、障害物情報取得部１３０は、複数個であってもよく、障害物情報を取得可能な任意の位置に搭載される。車両４００が複数の障害物情報取得部１３０を搭載する場合、すなわち画像表示装置１００が複数の障害物情報取得部１３０を備える場合、複数の障害物情報取得部１３０を使用して広い範囲の障害物情報を取得することができ、ユーザに、より広範な周辺の情報を提供することができる。また、車両４００の異なる位置に配置された複数の障害物情報取得部１３０を使用して障害物情報を撮影する場合には、複数の障害物情報に基づいて障害線を抽出できるため、より詳細な障害線を表示する合成画像をユーザに提供できる。

座標変換処理部１３１は、障害物情報を地表４４０に投影した二次元座標データに変換する。具体的には、座標変換処理部１３１は、まず障害物情報取得部１３０が取得した障害物情報を取得する。そして、座標変換処理部１３１は、座標系を変換するための行列式を用いて行列演算を行うことで、取得した障害物情報を、運転席を基準にした三次元座標データに座標変換する。さらに、座標変換処理部１３１は、三次元座標データを地表４４０に垂直に投影する変換を行うことで、二次元座標データを作成する。

車両４００が複数の障害物情報取得部１３０を搭載する場合、座標変換処理部１３１は、障害物情報取得部１３０がそれぞれ取得した障害物情報を連結して一つの連結障害物情報を生成し、連結障害物情報を特定地点から見た三次元座標データに座標変換し、三次元座標データを地表４４０に投影した二次元座標データに変換する。具体的には、まず座標変換処理部１３１は、複数の障害物情報取得部１３０がそれぞれ取得した障害物情報を取得する。そして、座標変換処理部１３１は、各障害物情報取得部１３０の位置及び方向等から障害物情報を重ね合わせ、重複部分を一次変換等の処理によって連結し、連結障害物情報を生成する。次に、座標変換処理部１３１は、座標系を変換するための行列式を用いて行列演算を行うことで、連結障害物情報を、運転席を基準にした三次元座標データに座標変換する。さらに、座標変換処理部１３１は、三次元座標データを地表４４０に垂直に投影する変換を行うことで、二次元座標データを作成する。

障害線抽出部１３２は、特定地点から見た二次元座標データの視角の各角度において、特定地点に最も近い部分を障害線として抽出する。すなわち、本実施の形態においては、障害線抽出部１３２は、運転席から二次元座標データを見たときの、視角の角度ごとに、運転席に最も近い部分を障害線として抽出する。

図５は、障害線抽出部が抽出した障害線の例を示す図である。図５において、網掛領域２１０は、座標変換処理部１３１が作成した二次元座標データの領域を示す。また、点２２０は、本実施の形態における特定地点である運転席の視点を示す。また、領域２１０の周囲の実線部分は、障害線抽出部１３２により障害線として抽出される部分を示し、点線部分は、障害線として抽出されない部分を示す。また、図５において、視点２２０から二次元座標データの領域２１０への視角θが、扇形状に示されている。

図５（ａ）において、地表４４０に投影された領域２１０は台形形状であり、視点２２０の視角θの各角度において、台形領域２１０の底辺部分が最も視点２２０に近い。そのため、障害線抽出部１３２は、図５（ａ）に示すように、台形領域２１０の底辺部分を障害線として抽出する。

図５（ｂ）において、地表４４０に投影された領域２１０は平行四辺形形状であり、視点２２０の視角θの各角度において、平行四辺形領域２１０の対向する二組の辺のうち、それぞれ視点２２０側の二辺が最も視点２２０に近い。そのため、障害線抽出部１３２は、図５（ｂ）に示すように、視点２２０側の二辺を障害線として抽出する。

図５（ｃ）において、地表４４０に投影された領域２１０は凸形形状である。この場合、障害線抽出部１３２は、図５（ａ）及び（ｂ）と同様に、視点２２０の視角θの各角度において、最も視点２２０に近い部分を障害線として抽出する。ここで、図５（ａ）及び（ｂ）の場合と異なり、図５（ｃ）では、領域２１０が凸形であるため、視線２３０において障害線が不連続となる部分が生じる。

再び図３を参照すると、画像合成部１４０は、二次元モデル作成部１２１が作成した二次元モデル及び障害線抽出部１３２が抽出した障害線を、画像変換部１１１が作成した変換画像に合成することにより合成画像を生成する。

図６は、本発明の一実施の形態に係る画像表示装置が生成する合成画像の一例を示す図である。合成画像において、二次元モデルである車両４００の外形３００は、図６に示すように、例えば点線で表示される。また、合成画像において、障害線は、例えば太線で示される。ただし、車両４００の外形３００及び障害線の表示方法は、図６に示すものに限定されない。例えば、変換画像と異なる色で車両４００の外形３００及び障害線を表示してもよい。

図６に示すように、車止めブロック４１０及びコーン４２０については、それぞれ地表４４０との接触部分の一部が障害線として合成画像に表示されている。一方、標識４３０は、地表４４０との接触部分である支持部分よりも車両４００に近い位置に、障害線が表示されている。これは、支持部分の上部に取り付けられた標識部分が地表４４０に投影され、投影された二次元座標データにおいて、支持部分よりも標識部分の二次元座標データが運転席から近いために、障害線抽出部１３２により抽出されたためである。

ディスプレイ１５０は、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ又は無機ＥＬディスプレイ等の表示デバイスである。ディスプレイ１５０は、表示部１５１及び表示制御部１５２を備える。表示部１５１は、車両４００のユーザに対して、合成画像を含む種々の情報を表示する。また、表示制御部１５２は、画像合成部１４０により生成された合成画像を表示部１５１に表示させる。すなわち、表示制御部１５２の制御により、表示部１５１に図６に示すような合成画像が表示される。なお、ディスプレイ１５０は、車両４００に搭載されるナビゲーション装置の表示装置、メータに埋め込まれた表示装置及びインストルメント・パネルの表示装置等を使用して実現することもできる。

図７は、図２に示す画像表示装置が行う一連の処理の例を示すフローチャートである。ここで、図７を参照して、画像表示装置１００が行う一連の処理について説明する。まず、画像表示装置１００では、車載カメラ１１０が車両４００の周辺を撮影することにより、撮影画像を取得する（ステップＳ１０１）。そして、画像変換部１１１は、撮影画像から、地表４４０の特定領域を運転席から見た画像に座標変換することにより、変換画像を作成する（ステップＳ１０２）。

次に、画像表示装置１００では、車両情報取得部１２０が、車両４００の位置及び走行に関する車両情報を取得する（ステップＳ１０３）。そして、二次元モデル作成部１２１は、車両情報に基づいて、特定領域を運転席から見る際に視野に入る車両４００の一部を地表４４０に投影した二次元モデルを作成する（ステップＳ１０４）。

そして、障害物情報取得部１３０は、車両４００の周辺の障害物までの距離及び障害物の形状に関する障害物情報を取得する（ステップＳ１０５）。その後、座標変換処理部１３１は、運転席を基準にして、障害物情報を三次元座標データに座標変換し、三次元座標データを地表４４０に投影した二次元座標データに変換することによって、二次元座標データを作成する（ステップＳ１０６）。そして、障害線抽出部１３２は、運転席から見た二次元座標データの視角θの各角度において、運転席に最も近い部分を障害線として抽出する（ステップＳ１０７）。

次に、画像合成部１４０は、ステップＳ１０４で作成された二次元モデルと、ステップＳ１０７で抽出された障害線とを、ステップＳ１０２で作成された変換画像に合成することによって、合成画像を生成する（ステップＳ１０８）。そして、表示制御部１５２が、生成された合成画像を表示部１５１に表示することにより、表示の更新を行う（ステップＳ１０９）。

画像表示装置１００は、かかる制御手順を規定したプログラムを、例えば、図示しない記憶部に格納する。このプログラムは、画像表示装置１００内ではなく、例えば外部の記憶媒体に格納されていてもよい。

このようにして、画像表示装置１００により、車両４００の情報と障害線とを地表４４０に投影した合成画像がユーザに提供されるため、ユーザは、障害物と車両４００との距離を正確に把握しやすくなる。また、画像表示装置１００は、例えば図６の標識４３０の障害線のように、高さの情報を含めた障害物の外形の情報をユーザに提供する。そのため、ユーザは、障害線を確認することによって、車両４００と、高さを考慮した障害物との距離を把握しやすくなる。その結果、車両４００と障害物との接触を回避しやすくなる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段等を１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、二次元モデル作成部１２１が作成する二次元モデルは、上述の実施の形態で説明したものに限られない。二次元モデル作成部１２１は、二次元モデルに車両４００の外形３００の他、任意の情報を付加し、画像合成部１４０は、付加された情報を含めた二次元モデルを、合成画像に合成させることができる。

図８は、合成画像の変形例を示す図である。二次元モデル作成部１２１は、例えば、車両４００のステアリングの操舵角に応じた角度で表現される車輪の外形３１０を含んでいてもよい。この場合、表示部１５１には、図８（ａ）に一点鎖線で示すように、車両４００の外形３００に加えて車輪の外形３１０が表示された合成画像が表示される。このように、運転中の車両４００の車輪の向きが合成画像に表示されるため、ユーザは、車両４００が走行しようとする方向に障害物があるか否かを把握しやすくなる。

また、二次元モデル作成部１２１は、車両４００の走行速度及び加速度並びにステアリングの操舵角に基づいて作成した、車両４００の予想走行経路を二次元モデルに付加してもよい。例えば、車輪が車両４００の直進方向を向いている場合、表示部１５１には、図８（ｂ）に二点鎖線で示すように、車両４００の外形３００に加えて予想走行経路３２０が表示された合成画像が表示される。図８（ｂ）を参照すると、車両４００が予想走行経路３２０に表示されるように直進した場合、車止めブロック４１０、コーン４２０及び標識４３０に接触することが容易に判断できる。このように、車両４００の予想走行経路３２０が合成画像に表示されるため、ユーザは、予想走行経路３２０上に障害物があるか否かを事前に判断しやすくなる。

また、二次元モデル作成部１２１は、車輪の外形３１０と予想走行経路３２０との双方を表示してもよい。図８（ｃ）は、ステアリングが右方向に切られている場合における、車輪の外形３１０と予想走行経路３２０との双方を表示した合成画像の例を示す図である。図（ｃ）を参照すると、車両４００が予想走行経路３２０に表示されるように前方右方向に進んだ場合、車止めブロック４１０及びコーン４２０に接触するが、標識４３０には、接触しないことが容易に判断できる。

また、上述の実施の形態の説明においては、画像変換部１１１及び座標変換処理部１３１が、座標系を変換するための行列式を用いて行列演算を行うとして説明したが、行列演算はこれに限られない。画像変換部１１１及び座標変換処理部１３１は、必要に応じて、例えば、画像を回転させるための行列式を用いて行列演算を行ってもよく、また、画像の一部を拡大又は縮小するための行列式を用いて行列演算を行ってもよい。また、画像変換部１１１及び座標変換処理部１３１は、これらの行列式の２つ以上を組み合わせた行列演算を行ってもよい。画像変換部１１１及び座標変換処理部１３１は、かかる行列演算により、好適な座標変換を行うことができる。

また、障害物情報取得部１３０は、所定の高さ以下の障害物情報のみを取得するように構成してもよい。例えば、障害物情報取得部１３０は、車両４００の車高以下の障害物情報を取得するものであってもよい。この場合、障害線抽出部１３２は、障害物情報取得部１３０が取得した車両４００の車高以下の障害物の障害線を抽出する。そのため、表示部１５１には、車両４００の車高以下の障害物の障害線、すなわち車両４００が接触する可能性のある障害物の障害線が合成された合成画像が表示される。従って、ユーザは、表示された障害線を避けて運転することにより、車両４００と障害物との衝突を回避できる。

また、画像表示装置１００は、車両４００のステアリングの切れ角の最大範囲に基づいて、車両４００が進行可能な最大範囲の画像を表示してもよい。これにより、画像表示装置１００は、車両４００が進行して接触する可能性のある障害物の障害線を表示部１５１に表示できるため、ユーザは、接触する可能性のある障害物の位置を把握することができる。

１００ 画像表示装置
１１０ 車載カメラ
１１１ 画像変換部
１２０ 車両情報取得部
１２１ 二次元モデル作成部
１３０ 障害物情報取得部
１３１ 座標変換処理部
１３２ 障害線抽出部
１４０ 画像合成部
１５０ ディスプレイ
１５１ 表示部
１５２ 表示制御部
２１０ 領域
２２０ 視点
２３０ 視線
３００ 車両の外形
３１０ 車輪の外形
３２０ 予想走行経路
４００ 車両
４１０ 車止めブロック
４２０ コーン
４３０ 標識
４４０ 地表
４５０ 視野

Claims (10)

1. 車両の周辺を撮影する車載カメラと、
   前記車載カメラが撮影した撮影画像を座標変換することにより、地表の特定領域を特定地点から見た変換画像を作成する画像変換部と、
   前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部を前記地表に投影した二次元モデルを作成する二次元モデル作成部と、
   前記車両の周辺の障害物までの距離及び前記障害物の形状に関する障害物情報を取得する障害物情報取得部と、
   前記障害物情報を前記地表に投影した二次元座標データに変換する座標変換処理部と、
   前記特定地点から見た前記二次元座標データの視角の各角度において、前記特定地点に最も近い部分を障害線として抽出する障害線抽出部と、
   前記二次元モデル及び前記障害線を、前記変換画像に合成することにより合成画像を生成する画像合成部と、
   前記合成画像を表示する表示部と
   を備えることを特徴とする画像表示装置。
2. 前記車載カメラを複数備え、
   前記画像変換部は、前記車載カメラがそれぞれ撮影した撮影画像を連結して一つの連結画像を生成し、該連結画像を前記特定地点から見た画像に座標変換することにより、前記変換画像を作成する、請求項１に記載の画像表示装置。
3. 前記障害物情報取得部を複数備え、
   前記座標変換処理部は、前記障害物情報取得部がそれぞれ取得した障害物情報を連結して一つの連結障害物情報を生成し、該連結障害物情報を前記地表に投影した二次元座標データに変換する、請求項１又は請求項２に記載の画像表示装置。
4. 前記特定地点は、前記車両の運転席である、請求項１乃至請求項３のいずれか一項に記載の画像表示装置。
5. 前記障害物情報取得部は、前記車両の車高以下の前記障害物情報を取得する、請求項１乃至請求項４に記載の画像表示装置。
6. 前記車両の一部は、前記車両の外形を含む、請求項１乃至請求項５に記載の画像表示装置。
7. 前記車両の一部は、前記車両のステアリングの操舵角に応じた角度で表現される車輪の外形を含む、請求項１乃至請求項６に記載の画像表示装置。
8. 前記二次元モデル作成部は、前記車両の走行速度及び加速度並びにステアリングの操舵角に基づいて作成した、前記車両の予想走行経路を前記二次元モデルに付加する、請求項１乃至請求項７に記載の画像表示装置。
9. 画像表示装置による画像表示方法であって、
   車両の周辺を撮影するステップと、
   前記撮影した撮影画像を座標変換することにより、地表の特定領域を特定地点から見た変換画像を作成するステップと、
   前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部を前記地表に投影した二次元モデルを作成するステップと、
   前記車両から前記車両の周辺の障害物までの距離及び前記障害物の形状に関する障害物情報を取得するステップと、
   前記障害物情報を前記地表に投影した二次元座標データに変換するステップと、
   前記特定地点から見た前記二次元座標データの視角の各角度において、前記特定地点に最も近い部分を障害線として抽出するステップと、
   前記二次元モデル及び前記障害線を、前記変換画像に合成することにより合成画像を生成するステップと、
   前記合成画像を表示部に表示するステップと
   を含むことを特徴とする画像表示方法。
10. 画像表示装置として構成するコンピュータに、
    車両の周辺を撮影するステップと、
    前記撮影した撮影画像を座標変換することにより、地表の特定領域を特定地点から見た変換画像を作成するステップと、
    前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部を前記地表に投影した二次元モデルを作成するステップと、
    前記車両から前記車両の周辺の障害物までの距離及び前記障害物の形状に関する障害物情報を取得するステップと、
    前記障害物情報を前記地表に投影した二次元座標データに変換するステップと、
    前記特定地点から見た前記二次元座標データの視角の各角度において、前記特定地点に最も近い部分を障害線として抽出するステップと、
    前記二次元モデル及び前記障害線を、前記変換画像に合成することにより合成画像を生成するステップと、
    前記合成画像を表示部に表示するステップと
    を実行させる画像表示プログラム。
    

Images