JP2010148058A - 運転支援装置及び運転支援方法 - Google Patents

Abstract

【課題】ドライバが自車両とその進行方向に存在する立体構造物が衝突するか否かを容易に判断可能な車両周囲の画像を表示する運転支援装置及び運転支援方法を提供する。
【解決手段】運転支援装置は、車両１０の周囲を撮影して、その車両周囲の構造物を撮影した画像を取得する撮像部（２ａ〜２ｃ）と、車両１０の進行方向に存在する立体構造物の表面上の複数のサンプリング点の３次元座標を求める測距部４３２と、複数のサンプリング点の３次元座標から、立体構造物の表面形状を微小平面の集合により近似する形状補間部４３３と、車両１０が現在の進行方向に沿って進んだときに、その車両１０が立体構造物と衝突する衝突位置を、微小平面の集合に従って推定する衝突位置推定部４３４と、衝突位置推定部４３４により推定された衝突位置を表すマークを画像上に重畳させた合成画像を作成する画像合成部４３５と、合成画像を表示する表示部３とを有する。
【選択図】図１

Description

本発明は、運転支援装置及び運転支援方法に関し、特に、車載カメラで車両周囲を撮影した画像をディスプレイに表示する運転支援装置及び運転支援方法に関する。

近年、車両後方または車両左前方など、運転席から見え難い位置を、車載カメラにより撮影し、その撮影画像を車内に設置されたモニタに表示することにより、ドライバの運転を支援する装置が提案されている（例えば、特許文献１〜３を参照）。

例えば、特許文献１に開示された操舵支援装置は、現時点の操舵角αでの後退時の車両の予想軌跡を演算し、その予想軌跡に基づいて車幅の目安を示すガイド表示を、そのときの操舵角αに対応した所定位置にカメラにより撮像された映像を重畳させて、モニタに表示させる。
また、特許文献２に開示された周辺監視装置は、二つのカメラで撮像した画像を差分処理して立体物を抽出し、抽出した立体物の中から車両にぶつかりそうな立体物を障害物として検出し、その障害物に施す強調表示枠を作成して、ディスプレイに表示される画像上にその強調表示を描画する。
さらに、特許文献３に開示された駐車支援装置は、駐車車両の表面形状情報を検出し、その検出された表面形状情報に基づいて駐車車両の輪郭形状を認識し、表面形状情報と輪郭形状と自車両の移動状態とに基づいて、自車両と駐車車両との相対的な配置関係を演算することにより、自車両が駐車可能な駐車空間を検出する。

特開２０００−２７２４４５号公報 特開２００６−２５２３８９号公報 特開２００７−３０７００号公報

しかしながら、上記の何れの装置も、自車両の進行方向上に立体構造物が存在する場合、自車両がそのまま進んだ場合にその立体構造物とどこで衝突するかの情報を、ドライバに提示しない。
また、車両の周囲を撮影する車載カメラは、広い範囲を撮像してドライバに提示できるようにするために、広い画角を有することが要求される。一方、車載カメラは、限られた設置スペースに配置できるように、小型であることが求められる。そのため、車載カメラで使用される撮像光学系では、一般に歪曲収差が十分に補正されていない。従って、車載カメラで撮像された画像は、画像中心から離れるほど歪んだ像となる。さらに、車両の近傍に位置する物体と車両から遠くに位置する物体とでは、画像上の見え方、特に大きさなどが異なる。そのため、ドライバは、上記の何れかの装置により提示される画像を参照しても、衝突を避けるためにどのように車両を操作すればよいのか、分かり難い場合がった。

そこで、本発明の目的は、ドライバが自車両の進行方向に存在する立体構造物と自車両が衝突するか否かを容易に判断可能な車両周囲の画像を表示する運転支援装置及び運転支援方法を提供するを提供することにある。

請求項１の記載によれば、本発明の一つの形態として、運転支援装置が提供される。係る運転支援装置は、車両（１０）の周囲を撮影して、その車両周囲の構造物を撮影した画像を取得する撮像部（２ａ〜２ｃ）と、車両（１０）の進行方向に存在する立体構造物の表面上の複数のサンプリング点の３次元座標を求める測距部（４３２）と、複数のサンプリング点の３次元座標から、立体構造物の表面形状を微小平面の集合により近似する形状補間部（４３３）と、車両（１０）が現在の進行方向に沿って進んだときに、その車両（１０）が立体構造物と衝突する衝突位置を、車両（１０）の現在の進行方向における、車両（１０）の最も突出した部分と微小平面の集合が交差する位置を求めることにより推定する衝突位置推定部（４３４）と、衝突位置推定部（４３４）により推定された衝突位置を表すマークを画像上に重畳させた合成画像を作成する画像合成部（４３５）と、合成画像を表示する表示部（３）とを有する。
本発明に係る運転支援装置は、ドライバが自車両の進行方向に存在する立体構造物と自車両が衝突するか否かを容易に判断可能な車両周囲の画像を表示することができる。特に、この運転支援装置は、自車両の進行方向に存在する立体構造物の表面形状を微小平面の集合により近似し、自車両と立体構造物の衝突位置を、立体構造物の表面を近似した微小平面の集合により推定する。そのため、この運転支援装置は、立体構造物上の全ての点の３次元座標を測定しなくても、正確にその衝突位置を推定して、ドライバに提示することができる。

また請求項２の記載によれば、形状補間部（４３３）は、微小平面のそれぞれを、複数のサンプリング点のそれぞれを母点とするドロネー三角形に囲まれた平面として求めることが好ましい。これにより、この運転支援装置は、個々の微小平面の形状が細長くなることを避けることができるので、立体構造物の表面形状をより正確に近似できる。そのため、この運転支援装置は、車両と立体構造物の衝突位置をより正確に推定できる。

また請求項３の記載によれば、衝突位置推定部（４３４）は、車両（１０）の現在の進行方向における、車両（１０）の最も突出した部分の軌跡を推定し、その軌跡と微小平面の何れかが交差する点を衝突位置として推定することが好ましい。

あるいは、請求項４の記載によれば、衝突位置推定部（４３４）は、車両（１０）の進行方向における、車両（１０）の最も突出した部分の路面からの高さを持ち、かつ路面と平行な面と、微小平面の何れかが交差する線を衝突位置として推定することが好ましい。

さらに、請求項５の記載によれば、測距部（４３２）は、車両（１０）の現在の進行方向に沿った車両（１０）の左右両端の軌跡を推定し、その左右両端の軌跡の間に挟まれる領域から抽出されるサンプリング点の密度を、その左右両端の軌跡の間から外れた領域から抽出されるサンプリング点の密度よりも高くすることが好ましい。

さらに、請求項６の記載によれば、本発明の他の実施形態として、運転支援方法が提供される。係る運転支援方法は、車両（１０）に取り付けられた撮像部（２ａ〜２ｃ）により車両（１０）の周囲を撮影して、その車両周囲の構造物を撮影した画像を取得するステップと、車両（１０）の現在の進行方向に存在する立体構造物の表面上の複数のサンプリング点の３次元座標を求めるステップと、複数のサンプリング点の３次元座標から、立体構造物の表面形状を微小平面の集合により近似するステップと、車両（１０）が現在の進行方向に沿って進んだときに、車両（１０）が立体構造物と衝突する衝突位置を、車両（１０）の現在の進行方向における、車両（１０）の最も突出した部分と微小平面の集合が交差する位置を求めることにより推定するステップと、推定された衝突位置を表すマークを画像上に重畳させた合成画像を作成するステップと、合成画像を表示するステップとを有する。
本発明に係る運転支援方法は、ドライバが車両の進行方向に存在する立体構造物と車両が衝突するか否かを容易に判断可能な車両周囲の画像を表示することができる。特に、この運転支援方法は、自車両の進行方向に存在する立体構造物の表面形状を微小平面の集合により近似し、自車両と立体構造物の衝突位置を、立体構造物の表面を近似した微小平面の集合により推定する。そのため、この運転支援方法は、立体構造物上の全ての点の３次元座標を測定しなくても、正確にその衝突位置を推定して、ドライバに提示することができる。

上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

以下、本発明の一つの実施形態に係る運転支援装置について説明する。
本発明の一つの実施形態に係る運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより撮影された車両周囲の構造物を写す周辺画像を、車内に設置されたディスプレイに表示するものである。特にこの運転支援装置は、車載カメラにより撮影された周辺画像から抽出された複数のサンプリング点の３次元座標に基づき、その撮像範囲内に存在する立体構造物の表面形状をドロネー三角形により表された微小平面の集合で近似する。そして係る運転支援装置は、車両が現在の進行方向に沿って進んだ場合に、その立体構造物と衝突する衝突位置を、車両の推定軌跡とドロネー三角形により表された微小平面の交点を求めることにより推定し、その推定位置を表すマークを画像上に重畳して表示する。これにより、係る運転支援装置は、ドライバが自車両と立体構造物の衝突の危険性を容易に認識できるようにする。

図１は、本発明の第１の実施形態に係る運転支援装置１の全体構成を示す。図１に示すように、運転支援装置１は、車両１０に搭載された３台のカメラ２ａ、２ｂ、２ｃと、ディスプレイ３と、コントローラ４とを有する。カメラ２及びディスプレイ３と、コントローラ４とは、コントロールエリアネットワーク（以下、ＣＡＮという）５によって互いに接続されている。
また、コントローラ４は、ＣＡＮ５を介して、ハンドルの操舵角を検知する操舵角センサ６、車両１０の車輪速度を検知可能な車輪速度センサ７及び車両１０の電子制御ユニット８とも接続されている。そしてコントローラ４は、操舵角センサ６から、ハンドルの操舵角を表す操舵角信号を取得可能となっている。またコントローラ４は、車輪速度センサ７から車輪速度を表す車輪速度信号を取得可能となっている。さらにコントローラ４は、電子制御ユニット８からシフトレバーのポジションを表すシフトポジション信号を取得可能となっており、そのシフトポジション信号に基づいて、車両１０が前進しているか、後進しているかを判断可能となっている。

カメラ２ａ〜２ｃは、CCDあるいはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に車両１０の周囲の路面などの像を結像する結像光学系などを有する。そしてカメラ２ａ〜２ｃは、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そしてカメラ２ａ〜２ｃは、車両１０の周囲を撮影した周辺画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。なお、カメラ２ａ〜２ｃは、周辺画像を、その撮像範囲内の近赤外光の照度に応じたグレー画像として生成してもよい。
カメラ２ａ〜２ｃは、撮影により得られた周辺画像を逐次コントローラ４へ送信する。

図２（ａ）及び図２（ｂ）は、それぞれ、３台のカメラ２ａ、２ｂ、２ｃが車両１０に設置された、カメラの配置の一例を示す、車両１０の概略平面図及び概略側面図である。図２（ａ）及び図２（ｂ）に示すように、カメラ２ａは、車両１０の後方、トランクの上部中央に、カメラ２ａの撮像光学系の光軸が、車両１０の後方且つ斜め下方に向くように取り付けられる。そしてカメラ２ａは、車両１０の後側端部の少なくとも一部及び車両１０の後方の路面を含む所定範囲を撮影する。またカメラ２ｂは、車両１０の左前方に、カメラ２ｂの撮像系の光軸が車両の前後方向の中心軸に対して左方向に４５°の角をなすように取り付けられる。そしてカメラ２ｂは、車両１０の前側端部の少なくとも一部及び車両１０の左前方の路面を含む所定範囲を撮影する。さらにカメラ２ｃは、車両１０の右前方に、カメラ２ｃの撮像系の光軸が車両の前後方向の中心軸に対して右方向に４５°の角をなすように取り付けられる。そしてカメラ２ｃは、車両１０の前側端部の少なくとも一部及び車両１０の右前方の路面を含む所定範囲を撮影する。

ディスプレイ３は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、インストルメントパネル内に配置される。なお、ディスプレイ３は、インストルメントパネルと独立して配置してもよい。あるいは、ディスプレイ３は、ナビゲーション装置など、他の装置のディスプレイであってもよい。

コントローラ４は、記憶部４１と、通信部４２と、制御部４３とを有する。記憶部４１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部４１は、運転支援装置１を制御するための各種プログラム及びパラメータ、制御部４３による一時的な演算結果などを記憶する。また、通信部４２は、カメラ２、ディスプレイ３、操舵角センサ６、車輪速度センサ７及び電子制御ユニット８とＣＡＮ５を通じて通信する通信インターフェース及びその制御回路を有する。

制御部４３は、１個もしくは複数個の図示してないマイクロプロセッサ及びその周辺回路を有する。そして制御部４３は、運転支援装置１全体を制御する。
図３に、制御部４３の機能ブロック図を示す。図３に示すように、制御部４３は、画像選択部４３１と、測距部４３２と、形状補間部４３３と、衝突位置推定部４３４と、画像合成部４３５とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。

画像選択部４３１は、カメラ２ａ〜２ｃのうちの何れのカメラにより取得された周辺画像をディスプレイ３に表示させるかを選択する。そのために、画像選択部４３１は、操舵角センサ６から取得した操舵角信号及び電子制御ユニット８から取得したシフトポジション信号を参照する。そして、画像選択部４３１は、シフトポジション信号がシフトレバーがリバースポジションとなっていることを示していれば、車両１０の後部に取り付けられたカメラ２ａを選択する。なお、画像選択部４３１は、車輪速度センサ７から取得した車輪速度信号が、車両１０が後進していることを示していれば、カメラ２ａを選択してもよい。そして画像選択部４３１は、カメラ２ａの識別信号を制御部４３に通知する。一方、画像選択部４３１は、シフトポジション信号がシフトレバーがドライブポジションとなっていることを示しているか、あるいは車輪速度信号が車両１０が前進していることを示しており、かつ操舵角信号が車両１０が左方向へ旋回していることを示していれば、車両１０の左前方に取り付けられたカメラ２ｂを選択する。そして画像選択部４３１は、カメラ２ｂの識別信号を制御部４３に通知する。また、画像選択部４３１は、シフトポジション信号がシフトレバーがドライブポジションとなっていることを示しているか、あるいは車輪速度信号が車両１０が前進していることを示しており、かつ操舵角信号が車両１０が右方向へ旋回していることを示していれば、車両１０の右前方に取り付けられたカメラ２ｃを選択する。そして画像選択部４３１は、カメラ２ｃの識別信号を制御部４３に通知する。
制御部４３は、画像選択部４３１から通知された識別信号に対応するカメラに対して画像要求信号を送信する。そして制御部４３は、そのカメラから画像信号を受信し、記憶部４１に記憶するとともに、測距部４３２及び画像合成部４３５へ渡す。

測距部４３２は、カメラ２ａ〜２ｃのうち、画像選択部４３１により選択された一つのカメラにより撮像された周辺画像から抽出した複数のサンプリング点について、実空間上での車両１０の周囲の構造物の位置を表す実座標系上の３次元座標を求める。特に、測距部４３２は、その選択されたカメラの撮像範囲内に存在する立体構造物の表面上に位置する複数のサンプリング点の３次元座標を求める。なお、立体構造物は、路面上に存在する３次元状の形状を持つ物体であり、例えば、他の車両、ガードレール、壁、ポール、ブロックなどである。

本実施形態では、測距部４３２は、選択されたカメラが車両１０の移動中に連続して撮影することにより得られた複数の周辺画像から、単眼ステレオ法を用いて、抽出した複数のサンプリング点の３次元座標を求める。
先ず、測距部４３２は、例えば、異なる撮影時刻において取得された少なくとも２枚の周辺画像に対して、それぞれ、複数のサンプリング点を抽出する。一つの周辺画像から抽出されたサンプリング点は、他の周辺画像から抽出された何れかのサンプリング点に対応するものであることが好ましい。そこで、例えば、測距部４３２は、周辺画像に対してコーナー検出フィルタを用いたフィルタリング処理を行って、コーナー状の特徴を有する点をサンプリング点として抽出する。あるいは、測距部４３２は、周辺画像からSIFT（Scale Invariant Feature Transform）特徴点を抽出して、サンプリング点とする。SIFT特徴点及びその抽出手法の詳細については、例えば、David G.Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", Journal of Computer Vision, vol.60, No.2, pp.91-110, 2004に開示されている。

なお、車両１０とその進行方向上に存在する立体構造物の衝突位置を正確に検出するために、周辺画像上において偏りなくサンプリング点が抽出されることが好ましい。そこで、測距部４３２は、例えば、周辺画像を複数の部分領域に分割し（例えば、周辺画像を６４×６４個の部分領域に分割し）、各部分領域内でコーナー検出フィルタリング処理あるいはSIFT特徴点抽出処理を行う。そして測距部４３２は、部分領域ごとにそれらの処理の出力値が最も高い画素を決定し、その画素をサンプリング点としてもよい。
あるいは、測距部４３２は、周辺画像全体に対してコーナー検出フィルタリング処理あるいはSIFT特徴点抽出処理を行って、それらの処理の出力値が最も高い画素を最初のサンプリング点とする。次に、測距部４３２は、最初のサンプリング点の周囲に所定サイズのマスク領域を設定し、周辺画像からそのマスク領域を除いた他の領域において、コーナー検出フィルタリング処理あるいはSIFT特徴点抽出処理の出力値が最も高い画素を次のサンプリング点とする。なお、マスク領域のサイズは、例えば、周辺画像の水平方向、垂直方向の長さを、それぞれ１／６４にしたものとすることができる。これ以降、立体構造部検出部４３２は、周辺画像からマスク領域を除いた領域のサイズが、周辺画像のサイズに対する所定の比率（例えば、１／１０）となるまで、サンプリング点の抽出及びマスク領域の設定を繰り返すことにより、複数のサンプリング点を抽出する。

測距部４３２は、一つの周辺画像上で抽出された各サンプリング点について、公知の様々なトラッキング技術の何れかを用いることにより、他の周辺画像上で対応するサンプリング点を決定する。そして、測距部４３２は、複数の周辺画像において対応するサンプリング点が存在すると判定されたサンプリング点を、３次元座標を求める対象点とする。なお、連続して取得された３枚以上の周辺画像にわたってトラッキング可能なサンプリング点について、測距部４３２は、位置検出の誤差を軽減するために、サンプリング点の位置を補正してもよい。そのために、測距部４３２は、例えば、各周辺画像にわたるそのサンプリング点の位置の変化を表す軌跡を、各周辺画像上のサンプリング点に対して最小二乗法を適用して求め、サンプリング点の位置をその軌跡上に位置するように補正してもよい。

一方、測距部４３２は、それら少なくとも２枚の周辺画像を取得する間に得られた操舵角センサ６から取得した操舵角信号及び車輪速度センサ７から取得した車輪速度信号に基づいて、それら周辺画像の画像撮影間におけるカメラの移動距離を決定する。そして測距部４３２は、三角測量の原理を用いて、カメラから各サンプリング点までの距離を求める。また、カメラの画角、撮影方向、取り付け位置及びその取り付け位置の路面からの高さは予め分かっている。そのため、周辺画像上に路面のみが写っていると仮定した場合における、周辺画像上の各画素についての路面までの距離も予め求めることができる。そこで、測距部４３２は、着目するサンプリング点に対応する画素におけるカメラから路面までの距離lgに対する、その距離lgからそのサンプリング点までの距離lsの差の比（（lg-ls）/lg）を、カメラの路面からの高さに乗じることにより、そのサンプリング点の路面からの高さを決定できる。また測距部４３２は、カメラの光軸と、サンプリング点に対応する位置とカメラを結ぶ線とのなす角θが分かるので、サンプリング点までの距離にsinθを乗じることで、カメラを基準としたサンプリング点の水平方向の位置を求めることができる。そして測距部４３２は、カメラの設置位置と、実座標系の原点との位置のずれを補正することにより、サンプリング点の実座標系上の３次元座標を求めることができる。

また、例えば、カメラ２ａ〜２ｃが、光波測距画像センサのように、各画素ごとに撮影対象物までの距離を測定する機能を有するカメラである場合、測距部４３２は、各サンプリング点の画素に対応する測距信号を、ＣＡＮ５を通じてカメラ２ａ〜２ｃから取得し、その測距信号を用いて各サンプリング点の３次元座標を決定してもよい。

測距部４３２は、周辺画像上の各サンプリング点の３次元座標を表す座標情報を、形状補間部４３３へ渡す。

形状補間部４３３は、測距部４３２から取得した、周辺画像上の複数のサンプリング点の座標情報に基づいて、立体構造物の表面形状を複数の微小平面により近似的に表す。そのために、本実施形態では、形状補間部４３３は、複数のサンプリング点に基づいてドロネー図を作成する。
図４に、ドロネー図の一例を示す。図４に示されるように、ドロネー図４００は、二つのボロノイ領域が境界辺を共有するとき、それら二つのボロノイ領域の母点同士を線分で結ぶことにより作成される三角形（ドロネー三角形という）の集合図である。このドロネー図では、一般に、ドロネー三角形が細長い三角形になることが少ない。そのため、形状補間部４３３は、得られた複数のサンプリング点から選択されたサンプリング点を頂点とするドロネー三角形を作成することにより、サンプリング点以外の立体構造物の表面上の任意の点の３次元座標を、良好に補間して求めることができる。

形状補間部４３３は、例えば、得られた複数のサンプリング点を母点として、逐次添加法によりドロネー図を作成する。ドロネー図が作成されると、周辺画像上の任意の点についての３次元座標は、その点が属するドロネー三角形の各頂点の３次元座標によって求められる平面上にその点が存在するものとして、ドロネー三角形の各頂点からの距離により決定される。
形状補間部４３３は、作成したドロネー図を表す情報、具体的には、各サンプリング点について、そのサンプリング点がその他のどのサンプリング点と結ばれるかを示す情報を衝突位置推定部４３４へ渡す。

衝突位置推定部４３４は、車両１０とその現在の進行方向に存在する立体構造物の衝突位置を推定する。そして衝突位置推定部４３４は、周辺画像と同じサイズを持ち、推定された衝突位置に対応する画素に、推定衝突位置を表す衝突位置マークを付したガイド画像を作成する。
そこで、衝突位置推定部４３４は、車両１０の進行方向における、車両１０の最も突出した部分（例えば、バンパー）の路面からの高さを持ち、かつ路面に対して平行な面と、形状補間部４３３により作成されたドロネー図の各微小平面との交線を求める。得られた交線が、車両１０と立体構造物が衝突する可能性のある位置を示す衝突予測線となる。そこで、衝突位置推定部４３４は、衝突予測線上に存在する、周辺画像の画素を選択する。そして衝突位置推定部４３４は、選択された画素に衝突位置マークを付する。具体的には、衝突位置推定部４３４は、その選択された画素に対応する、ガイド画像上の画素の色または輝度を、周辺画像の対応する画素の周囲と区別可能な特定の色または輝度にする。あるいは、衝突位置推定部４３４は、衝突予測線と路面の間に挟まれる領域全体に衝突位置マークを付してもよい。この場合、衝突位置推定部４３４は、衝突予測線と路面の間に挟まれた領域に含まれる全ての画素の色または輝度を特定の色または輝度にする。

また、衝突位置推定部４３４は、車両１０の現在の進行方向に沿った、車両１０の最も突出した部分の推定軌跡と、形状補間部４３３により作成されたドロネー図の各ドロネー三角形で囲まれた微小平面との交点を求め、その交点に対応するガイド画像上の画素に対して、衝突予測線上に位置する画素の代わりに、あるいは、衝突予測線上に位置する画素とともに衝突位置マークを付してもよい。
なお、ドロネー図に示された各ドロネー三角形の全ての頂点の実座標系上での路面からの高さが、車両１０の進行方向における、車両１０の最も突出した部分の路面の高さよりも低い場合、衝突位置推定部４３４は、路面からの高さが最も高いドロネー三角形の頂点以下の車両１０の最も突出した部分について、推定軌跡を求めてもよい。
また、衝突位置推定部４３４は、車両１０が現在の進行方向に沿って進んだとき、車両１０と立体構造物が衝突しない場合、ガイド画像を作成せず、その旨を制御部４３に通知する。

図５を参照しつつ、現在の進行方向に沿った車両１０の最も突出した部分が通る軌跡を推定する方法について説明する。図５において、車両１０はxz平面上に存在するものとする。そして車両１０の前側端の中心１０１をxz平面の原点とし、車両１０が直進するときにz軸と平行となるように実座標系を設定する。また車両１０が存在する路面からの高さ方向にy軸を設定する。また図５では、車両１０は、右方向へ旋回するものとする。さらに図５において、車両１０のホイールベース長及び前輪１０２から車両１０の前側端までの距離は、それぞれ、L、L'で表される。また、車幅及びトレッド長（左右の車輪の中心間の距離）は、それぞれ、W、Tで表される。さらに、車両１０の旋回中心はｃで表される。

このとき、車両１０の前側端の中心１０１の最小回転半径θ_cは次式により求められる。

ただし、R_outは、旋回中心ｃから外側の車輪（図５では、左側の車輪）の中心までの距離である。そして、車両１０のハンドルの操舵角をθ_strとし、ハンドルの左右どちらか一方における最大回転角をθ_maxstrとすれば、車両１０の前側端の中心１０１の回転角αは次式で表すことができる。

したがって、車両１０の旋回中心ｃから、車両１０の前側端の中心１０１が通る軌跡までの回転半径R_cは、次式により求められる。

したがって、旋回中心ｃの座標(X_c,Y_c,Z_c)は、次式で与えられる。

ただし、hは、車両１０の最も突出した部分の路面からの高さを表す。

次に、車両１０の前側端の中心１０１の推定軌跡に沿った車両１０からの距離をL₂とする。このとき、車両１０の前側端の中心１０１から推定軌跡に沿って車両１０からの距離がL₂である点までの回転角βは次式で求められる。

したがって、車両１０の前側端の何れかの点が通る軌跡上の回転角βにおける座標(X_f,Y_f,Z_f)は、次式で与えられる。

ただし、dは、車両１０の前側端の中心１０１からその前側端に沿った方向のずれ量を表し、車幅Wに対し、-W/2からW/2の範囲に含まれる。そしてd=W/2のとき、座標(X_f,Y_f,Z_f)は、車両１０の前側端の外側の端点（図５では、車両１０の左端）が通る軌跡上の回転角βにおける座標を表す。一方、d=-W/2のとき、座標(X_f,Y_f,Z_f)は、車両１０の前側端の内側の端点（図５では、車両１０の右端）が通る軌跡上の回転角βにおける座標を表す。

次に、車両１０が後進するときの軌跡について説明する。図５において、車両１０の後端と後輪間の距離はＬ”で表される。このとき、旋回中心ｃから車両１０の後側端の中心１０３までの距離R_rは、以下の式で表される。

また、車両１０の後側端の中心１０３の推定軌跡に沿った車両１０からの距離をL₃とする。このとき、車両１０の後側端の中心１０３から推定軌跡に沿って車両１０からの距離がL₃である点までの回転角γは次式で求められる。

したがって、車両１０の後側端の何れかの点が通る軌跡上の回転角γにおける座標(X_b,Y_b,Z_b)は、次式で与えられる。

ただし、dは、車両１０の後側端の中心１０３からその後側端に沿った方向のずれ量を表し、車幅Wに対し、-W/2からW/2の範囲に含まれる。そしてd=W/2のとき、座標(X_b,Y_b,Z_b)は、車両１０の後側端の外側の端点（図５では、車両１０の左端）が通る軌跡上の回転角γにおける座標を表す。一方、d=-W/2のとき、座標(X_b,Y_b,Z_b)は、車両１０の後側端の内側の端点（図５では、車両１０の右端）が通る軌跡上の回転角γにおける座標を表す。

なお、衝突位置推定部４３４は、車両１０が左旋回するときも、ｘ軸の正負を逆向きに設定することにより、上記と同様に実座標上の軌跡を推定することができる。なお、衝突位置推定部４３４は、実座標系上で車両の軌跡を推定する他の様々な方法、例えば、特開２０００−２７２４４５号公報に開示された方法にしたがって、軌跡を推定してもよい。

衝突位置推定部４３４は、上記の（６）式または（９）式に従って求められる車両１０の最も突出した部分の実座標系での推定軌跡と、形状補間部４３３により作成されたドロネー図に含まれる各ドロネー三角形で囲まれた微小平面との交点を求める。ドロネー三角形の各頂点については、実座標系上の３次元座標が求められているから、ドロネー三角形で囲まれた微小平面についても、それら頂点を通る実座標系上の平面として決定することができる。そのため、衝突位置推定部４３４は、曲線と平面の交点を求める周知の方法を用いて、車両１０が立体構造物と衝突する衝突位置を簡単に推定することができる。

衝突位置推定部４３４は、車両１０の実座標系での推定軌跡とドロネー図に含まれる各ドロネー三角形で囲まれた微小平面との交点を求めると、その交点に対応する周辺画像上の画素を決定する。この場合、衝突位置推定部４３４は、交点が存在する微小平面を囲むドロネー三角形の各頂点からその交点までの実座標系上での距離の互いに対する比をそれぞれ求める。そして衝突位置推定部４３４は、周辺画像上において、その交点に対応する画素と、その画素を囲むドロネー三角形の各頂点に対応する画素との距離の互いに対する比が、実座標系上で求めた各比と等しくなるように、その交点に対応する画素を決定する。

衝突位置推定部４３４は、衝突位置に対応する画素に衝突位置マークを付する。具体的には、衝突位置推定部４３４は、衝突位置に対応する、ガイド画像上の画素の色または輝度を、周辺画像の衝突位置に対応する画素の周囲と区別可能な特定の色または輝度にする。あるいは衝突位置推定部４３４は、ガイド画像の衝突位置に対応する画素を中心とした複数の画素に跨って、円形、星型などの形状を持つ衝突位置マークを付してもよい。
衝突位置推定部４３４は、作成したガイド画像を画像合成部４３５へ渡す。

画像合成部４３５は、周辺画像上に衝突位置推定部４３４により描画されたガイド画像を重畳して、合成画像を作成する。その際、画像合成部４３５は、ガイド画像上の各画素のうち、衝突位置マークが描画されていない画素を透明とする。すなわち、画像合成部４３５は、合成画像のうち、衝突位置マークが描画される画素は、ガイド画像上の対応する画素の輝度値を有し、衝突位置マーク以外の画素は、周辺画像上の対応する画素の輝度値を有するように合成画像を作成する。
また、画像合成部４３５は、衝突位置マークに対応するガイド画像の画素を半透明として、周辺画像上の衝突位置マークと重畳される部位に写っているものも、ドライバが見えるようにしてもよい。これらの画像合成法自体は公知であるため、その画像合成法の詳細な説明は省略する。
画像合成部４３５は、作成した合成画像を制御部４３へ渡す。そして制御部４３は、その合成画像をディスプレイ３に表示させる。

図６に、車両１０の進行方向上に立体構造物が存在する状況の一例を示す鳥瞰図６００を示す。図６に示される鳥瞰図６００では、車両１０が後進しようとしており、車両１０の後方に側壁６１０及び６２０が存在する。そして、車両１０の左右端の推定軌跡６３０、６４０から明らかなように、車両１０がそのまま後進すると、車両１０の後側左端が側壁６２０と衝突するおそれがある。
図７に、図６に示される状況に対応する合成画像の一例を示す。図７に示された合成画像７００では、衝突予測線に対応する線状の衝突位置マーク７１０及び衝突予測位置に対応する同心円状の衝突位置マーク７２０が立体構造物である側壁６２０に重なって表示されている。そのため、ドライバは、それら衝突位置マーク７１０及び７２０を参照することにより、車両１０が側壁６２０と衝突する危険性を容易に認識することが可能となる。

図８に、制御部４３により制御される、本発明の一実施形態に係る運転支援装置１の動作フローチャートを示す。
まず、制御部４３は、操舵角センサ６から取得した操舵角信号、車輪速度センサ７から取得した車輪速度信号または電子制御ユニット８から取得したシフトポジション信号に基づいて、車両１０が後進を開始したこと、あるいは車両１０が所定速度（例えば、２０ｋｍ／ｈ）以下で旋回を開始したことを検知すると、処理を開始する。

まず、制御部４３の画像選択部４３１は、カメラ２ａ〜２ｃのうち、操舵角信号と、シフトポジション信号または車輪速度信号に基づいて、車両１０の進行方向に対応するカメラを選択する（ステップＳ１０１）。そして制御部４３は、選択されたカメラに対して画像取得要求信号を送信し、選択されたカメラから周辺画像を取得する（ステップＳ１０２）。そして制御部４３は、取得した周辺画像にその取得時間を関連付けて記憶部４１に記憶する。

また、制御部４３の測距部４３２は、記憶部４１に記憶されている、所定フレーム数前に取得された過去の周辺画像及び最新の周辺画像と、その過去の周辺画像が取得されてから最新の周辺画像が取得されるまでの操舵角信号及び車輪速度信号に基づき、単眼ステレオ法などを用いることにより、周辺画像中の複数のサンプリング点の実座標系上の３次元座標を決定する（ステップＳ１０３）。そして測距部４３２は、各サンプリング点及びその３次元座標を制御部４３の形状補間部４３３へ渡す。なお、所定フレーム数は、例えば、1〜10フレームの何れかとすることができる。

形状補間部４３３は、立体構造物の表面形状を複数の微小平面により近似的に表すために、各サンプリング点を母点としてドロネー図を作成する（ステップＳ１０４）。そして形状補間部４３３は、作成したドロネー図を表す情報、具体的には、各サンプリング点について、そのサンプリング点がその他のどのサンプリング点と結ばれるかを示す情報を制御部４３の衝突位置推定部４３４へ渡す。

衝突位置推定部４３４は、操舵角信号及び車輪速度信号に基づいて、車両１０の現在の進行方向における、車両１０の最も突出した部分の軌跡を推定する（ステップＳ１０５）。そして衝突位置推定部４３４は、その推定軌跡と、ドロネー図に含まれる各ドロネー三角形で囲まれた微小平面との交点を求めることにより、車両１０と立体構造物の衝突位置を推定する（ステップＳ１０６）。そして衝突位置推定部４３４は、推定された衝突位置に対応する周辺画像の画素を決定し、その画素に衝突位置マークを付したガイド画像を作成する（ステップＳ１０７）。そして衝突位置推定部４３４は、ガイド画像を画像合成部４３５へ渡す。

画像合成部４３５は、周辺画像上に衝突位置推定部４３４により描画されたガイド画像を重畳して、合成画像を作成する（ステップＳ１０８）。そして画像合成部４３５は、作成された合成画像を制御部４３へ渡す。制御部４３は、ディスプレイ３にその合成画像を表示させる（ステップＳ１０９）。なお、ステップＳ１０６において、推定された衝突位置がなければ、衝突位置推定部４３４はその旨を制御部４３に通知し、制御部４３は、ステップＳ１０７及びＳ１０８の処理を省略する。そして制御部４３は、ステップＳ１０９において周辺画像そのものをディスプレイ３に表示させる。

次に、制御部４３は、運転支援装置１を待機状態にすべきか否か判定する（ステップＳ１１０）。制御部４３は、運転支援装置１を待機状態にしない場合、ステップＳ１０２〜Ｓ１１０の処理を繰り返す。一方、制御部４３は、運転支援装置１を待機状態にすべき場合、処理を終了する。なお、運転支援装置１を待機状態にする条件は、例えば、車両１０が停止してから所定時間（例えば、１０秒間）経過したこととすることができる。あるいは、その条件は、車両１０のインストルメントパネルなどに設置された運転支援装置１の操作部（図示せず）を介して、ドライバが運転支援装置１をオフにしたことであってもよい。

なお、上記の動作フローチャートでは、各サンプリング点の３次元座標を決定するために、測距部４３２は、単眼ステレオ法など複数フレームの画像を用いるものとしている。そのため、所定フレーム数前に取得された過去の周辺画像が記憶部４１に記憶されていない場合、制御部４３は、ステップＳ１０４〜Ｓ１０８の処理を省略する。しかし、例えば、カメラ２ａ〜２ｃが、光波測距画像センサのように、各画素ごとに撮影対象物までの距離を測定する機能を有するカメラである場合、ステップＳ１０３では、測距部４３２は、各サンプリング点の画素に対応する測距信号を、ＣＡＮ５を通じてカメラ２ａ〜２ｃから取得し、その測距信号を用いて各サンプリング点の３次元座標を決定する。
また、各ステップにおける、制御部４３の各部の処理の詳細は既に詳述したので、ここではその説明を省略する。

以上説明してきたように、本発明の一つの実施形態に係る運転支援装置は、車載カメラにより撮影された周辺画像から抽出された複数のサンプリング点の３次元座標を求めることにより、そのカメラの撮像範囲内に存在する立体構造物の表面形状を、微小平面の集合により近似的に表す。そしてこの運転支援装置は、車両が現在の進行方向に沿って進んだ場合に、車両がその立体構造物と衝突する予測位置を、車両の推定軌跡と微小平面の交点とを求めることにより推定してその推定位置を画像上に重畳して表示できる。そのため、この運転支援装置は、ドライバに対して自車両と立体構造物の衝突の危険性を容易に認識させることができる。さらに、この運転支援装置は、立体構造物の表面形状を表す個々の微小平面をドロネー三角形で表すことにより、３次元座標が測定されたサンプリング点以外の立体構造物の表面上の任意の点の３次元座標を、良好に求めることができるので、衝突予測位置を正確に推定できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、運転支援装置が有するカメラの台数は３台に限られず、例えば、運転支援装置は、車両後方を撮影する１台のカメラのみを有していてもよい。あるいは、運転支援装置は、車両後方を撮影するカメラと、車両前方の左右の角のうち、運転席から離れた方の角に設置されたカメラのみを有していてもよい。
また、コントローラの測距部は、車両が通る可能性の高い領域から抽出されるサンプリング点の密度を、車両が通る可能性の低い領域から抽出されるサンプリング点の密度よりも高くしてもよい。これにより、コントローラの形状補間部は、車両が通る可能性の高い領域については立体構造物の表面形状をより正確に近似することが可能となる一方、コントローラは、サンプリング点の密度を周辺画像全体に対して高くするよりも少ない計算時間で済む。
なお、測距部は、上記の（６）式または（９）式にしたがって、車両の左右端の通る軌跡を求め、その左右端の軌跡の間の領域を、車両が通る可能性の高い領域とすればよい。また測距部は、車両が通る可能性の高い領域から抽出されるサンプリング点の密度をその他の領域から抽出されるサンプリング点の密度よりも高くするために、例えば、車両の左右端の軌跡の間の領域を、それ以外の領域よりも細かく分割し、各分割領域に対してコーナー検出フィルタリング処理あるいはSIFT特徴点抽出処理を行って、それらの処理の出力値が最も高い画素をサンプリング点として抽出する。

また、コントローラの形状補間部は、立体構造物の表面形状を複数の微小平面により近似的に表すために、ドロネー図以外の空間分割手法を用いてもよい。例えば、形状補間部は、各サンプリング点を母点として、ドロネー図と双対関係にあるボロノイ図を作成してもよい。この場合、形状補間部は、逐次添加法あるいは再帰二分法を用いてボロノイ図を作成することができる。あるいは、形状補間部は、ドロネー図以外の他の三角形分割法を用いてもよい。

さらに、コントローラの衝突位置推定部は、ガイド画像において、衝突位置マークに加えて、車両の進行方向における先端部を中心とし、車両から所定距離であることを表すガイド線を同心円状に少なくとも一本描画してもよい。そして画像合成部は、そのようなガイド画像を周辺画像上に重畳して、合成画像を作成してもよい。
図９に、図６に示される状況に対応する、同心円状のガイド線が表示された合成画像の他の一例を示す。図９に示された合成画像９００では、衝突予測線に対応する線状の衝突位置マーク７１０及び衝突予測位置に対応する衝突位置マーク７２０に加えて、同心円状のガイド線９１０〜９３０が車両のバンパーの高さに合わせて描画されている。そしてガイド線９１０〜９３０は、それぞれ、車両１０から距離ld₁、ld₂、ld₃の範囲を表している。そのため、ドライバは、ガイド線９１０〜９３０を参照することにより、車両１０を他の車両と衝突させることなく、移動させることが可能な範囲を容易に認識することができる。
さらに、コントローラは、取得した周辺画像に対して輝度補正またはコントラスト補正などの補正処理を行ってもよい。
上記のように、当業者は、本発明の範囲内で様々な修正を行うことが可能である。

本発明の一つの実施形態に係る運転支援装置の全体構成図である。 （ａ）は、本発明の実施形態に係る運転支援装置に含まれるカメラの配置を示す車両の概略平面図であり、（ｂ）は、本発明の実施形態に係る運転支援装置に含まれるカメラの配置を示す車両の概略側面図である。 本発明の一つの実施形態に係る運転支援装置の制御部の機能ブロック図である。 ドロネー図の一例を示す図である。 車両の進行方向の推定軌跡を求める方法の説明図である。 運転支援装置が搭載された車両の進行方向に他の車両が存在する状況の一例を示す鳥瞰図である。 図６の状況に対応する合成画像の一例を示す図である。 本発明の一つの実施形態に係る運転支援装置の動作フローチャートである。 図６の状況に対応する合成画像の他の一例を示す図である。

符号の説明

１ 運転支援装置
２ａ、２ｂ、２ｃ カメラ
３ ディスプレイ
４ コントローラ
４１ 記憶部
４２ 通信部
４３ 制御部
４３１ 画像選択部
４３２ 測距部
４３３ 形状補間部
４３４ 衝突位置推定部
４３５ 画像合成部
５ コントロールエリアネットワーク（ＣＡＮ）
１０ 車両

Claims (6)

1. 車両（１０）の周囲を撮影して、該車両周囲の構造物を撮影した画像を取得する撮像部（２ａ〜２ｃ）と、
   前記車両（１０）の進行方向に存在する立体構造物の表面上の複数のサンプリング点の３次元座標を求める測距部（４３２）と、
   前記複数のサンプリング点の３次元座標から、前記立体構造物の表面形状を微小平面の集合により近似する形状補間部（４３３）と、
   前記車両（１０）が現在の進行方向に沿って進んだときに、前記車両（１０）が前記立体構造物と衝突する衝突位置を、前記車両（１０）の現在の進行方向における、前記車両（１０）の最も突出した部分と前記微小平面の集合が交差する位置を求めることにより推定する衝突位置推定部（４３４）と、
   前記衝突位置推定部（４３４）により推定された衝突位置を表すマークを前記画像上に重畳させた合成画像を作成する画像合成部（４３５）と、
   前記合成画像を表示する表示部（３）と、
   を有することを特徴とする運転支援装置。
2. 前記形状補間部（４３３）は、前記微小平面のそれぞれを、前記複数のサンプリング点のそれぞれを母点とするドロネー三角形に囲まれた平面として求める、請求項１に記載の運転支援装置。
3. 前記衝突位置推定部（４３４）は、前記車両（１０）の現在の進行方向における、前記車両（１０）の最も突出した部分の軌跡を推定し、該軌跡と前記微小平面の何れかが交差する点を前記衝突位置として推定する、請求項１または２に記載の運転支援装置。
4. 前記衝突位置推定部（４３４）は、前記車両（１０）の現在の進行方向における、前記車両（１０）の最も突出した部分の路面からの高さを持ち、かつ該路面と平行な面と、前記微小平面の何れかが交差する線を前記衝突位置として推定する、請求項１または２に記載の運転支援装置。
5. 前記測距部（４３２）は、前記車両（１０）の現在の進行方向に沿った前記車両（１０）の左右両端の軌跡を推定し、該左右両端の軌跡の間に挟まれる領域から抽出される前記サンプリング点の密度を、該左右両端の軌跡の間から外れた領域から抽出される前記サンプリング点の密度よりも高くする、請求項１〜４の何れか一項に記載の運転支援装置。
6. 車両（１０）に取り付けられた撮像部（２ａ〜２ｃ）により車両（１０）の周囲を撮影して、該車両周囲の構造物を撮影した画像を取得するステップと、
   前記車両（１０）の現在の進行方向に存在する立体構造物の表面上の複数のサンプリング点の３次元座標を求めるステップと、
   前記複数のサンプリング点の３次元座標から、前記立体構造物の表面形状を微小平面の集合により近似するステップと、
   前記車両（１０）が現在の進行方向に沿って進んだときに、前記車両（１０）が前記立体構造物と衝突する衝突位置を、前記車両（１０）の現在の進行方向における、前記車両（１０）の最も突出した部分と前記微小平面の集合が交差する位置を求めることにより推定するステップと、
   前記推定された衝突位置を表すマークを前記画像上に重畳させた合成画像を作成するステップと、
   前記合成画像を表示するステップと、
   を有することを特徴とする運転支援方法。

Images