JP2010218058A - 運転支援装置及び運転支援方法 - Google Patents

Abstract

【課題】自車両周囲を撮影した周辺画像に基づいて、ドライバが障害物を認識し、かつ自車両と障害物との位置関係を把握することを容易にする運転支援装置及び運転支援方法を提供する。
【解決手段】運転支援装置１は、車両１０の周囲を撮影した周辺画像を取得する撮像部（２ａ〜２ｃ）と、視点情報を複数記憶する記憶部５２と、異なる視点に関する視点情報を順次取得する視点位置決定部５２２と、視点位置決定部５２２から視点情報を受け取る度に、撮像部（２ａ〜２ｃ）により取得された周辺画像に対して、その視点情報に表される視点に基づいて視点変換処理を行うことにより、その視点から周辺画像に写っている領域を見た視点変換画像を作成する画像変換部５３３と、第１の視点から第２の視点まで、あるいはその逆の順序で、各視点情報に表される視点に基づいて作成されたそれぞれの視点変換画像を所定の時間間隔で順次切り替え表示する表示部３とを有する。
【選択図】図１

Description

本発明は、運転支援装置及び運転支援方法に関し、特に、自動車の周辺を撮影した画像をドライバへ提示する運転支援装置及び運転支援方法に関する。

近年、車両後方または車両左前方など、運転席から見え難い位置を、車載カメラにより撮影し、その撮影画像を車内に設置されたモニタに表示することにより、ドライバの運転を支援する装置が提案されている。特に、自車両周囲を撮影した周辺画像に対して視点を変換する処理を行うことにより、自車両の上方から撮影した場合に得られる俯瞰画像を擬似的に作成し、その俯瞰画像をドライバに提示する装置が提案されている（例えば、特許文献１を参照）。このような装置は、ドライバが自車両とその周囲に存在する物体との位置関係を直感的に把握させることができる。

例えば、特許文献１に開示された運転支援装置は、車両周囲を撮影するカメラの撮影画像に対して、視点変換と合成とを施して自動車上方の視点から撮影した場合に得られる画像を生成するとともに、合成した画像上に自車を表す図形を配置することにより、自動車周辺を自車を表す図形とともに俯瞰的に表す俯瞰画像を生成し、その俯瞰画像を表示装置に表示する。

特開２００６−１３１１６６号公報

しかしながら、上記のような運転支援装置は、カメラにより車両周囲を撮影した周辺画像に対し、その周辺画像上に写っているものを全て地平面座標に位置するものとして俯瞰画像に変換する。そのため、周辺画像に、他車両、ガードレール、パイロンなどの立体的な障害物が写っていると、俯瞰画像上では、その立体的な障害物の形状が大きく歪んでしまう。そのため、ドライバは、俯瞰画像に写った立体的な障害物を認識することが困難になるおそれがあった。

そこで、本発明の目的は、自車両周囲を撮影した周辺画像に基づいて、ドライバが障害物を認識し、かつ自車両と障害物との位置関係を把握することを容易にする運転支援装置及び運転支援方法を提供することにある。

請求項１の記載によれば、本発明の一つの形態として、運転支援装置が提供される。係る運転支援装置は、車両（１０）の周囲を撮影した周辺画像を取得する撮像部（２ａ〜２ｃ）と、撮像部の仮想的な設置位置及び撮影方向を表す視点に関する視点情報を複数記憶する記憶部（５２）と、複数の視点情報のうち、第１の視点に対応する撮像部の仮想的な設置位置と第２の視点に対応する撮像部の仮想的な設置位置の間に位置する、撮像部の仮想的な設置位置に対応する視点情報を順次取得する視点位置決定部（５２２）と、視点位置決定部（５２２）から視点情報を受け取る度に、撮像部（２ａ〜２ｃ）により取得された周辺画像に対して、その視点情報に表される視点に基づいて視点変換処理を行うことにより、その視点から周辺画像に写っている領域を見た視点変換画像を作成する画像変換部（５３３）と、第１の視点から第２の視点まで、あるいは第２の視点から第１の視点まで、各視点情報に表される視点に基づいて作成されたそれぞれの視点変換画像を所定の時間間隔で順次切り替え表示する表示部（３）とを有する。
本発明に係る運転支援装置は、自車両周囲を撮影した周辺画像に基づいて、ドライバが障害物を認識し、かつ自車両と障害物との位置関係を把握することを容易にする。特にこの運転支援装置は、複数の異なる視点から自車両周囲を見た視点変換画像を順次切り替えて表示する。そのため、この運転支援装置は、ドライバに自車両周囲に位置する立体的な障害物を仮想的に多方向から見せることができるので、ドライバがその障害物を認識することを容易にする。

また請求項２の記載によれば、第１の視点は撮像部（２ａ〜２ｃ）の設置位置及び撮影方向に対応する視点であり、第２の視点は車両（１０）の上方から垂直に下方を見下ろす視点であることが好ましい。これにより、運転支援装置は、第１の視点に対応する、自車両周囲に位置する立体的な障害物の形状の歪みが比較的少ない周辺画像自体と、第２の視点に対応する、自車両とその障害物間の位置関係が把握し易い俯瞰画像との間を連続的に変化する視点変換画像をドライバに提示できる。そのため、この運転支援装置は、ドライバが俯瞰画像に写っている立体的な障害物を認識することを容易にするので、ドライバが自車両とその障害物間の位置関係を把握することを容易にする。

さらに請求項３の記載によれば、複数の視点情報のそれぞれに表される視点のうち、第１の視点と第２の視点の中間の第３の視点とその第３の視点に隣接する視点間の距離が最も長く設定され、その第３の視点から第１の視点あるいは第２の視点に近づくにつれて、隣接する視点間の距離が短く設定されることが好ましい。これにより、この運転支援装置は、ドライバに対して表示される画像が、実際のカメラの視点あるいは上方から垂直に見下ろす視点の近くではゆっくりと変化し、その途中では、高速に切り替わる。そのため、この運転支援装置は、形状の歪みの少ない立体的な障害物が写った画像をドライバに長時間見せることができるので、ドライバは障害物を認識することがより容易になるとともに、この運転装置は、ドライバが障害物を認識した状態を保ったまま短期間で表示される画像を俯瞰画像に切り替えることができる。そのため、ドライバは、自車両と障害物の位置関係をより容易に把握することができる。

さらに請求項４の記載によれば、撮像部（２ｂ）は、車両（１０）の左前方に取り付けられ、車両（１０）の前側端部の少なくとも一部及び車両（１０）の左前方の路面を撮影することが好ましい。

また、請求項５の記載によれば、本発明の他の一つの形態として、運転支援方法が提供される。係る運転支援方法は、車両（１０）に取り付けられた撮像部（２ａ〜２ｃ）により車両（１０）の周囲を撮影した周辺画像を取得するステップと、記憶部（５２）に記憶された、撮像部の仮想的な設置位置及び撮影方向を表す仮想的な視点に関する複数の視点情報のうち、第１の視点に対応する撮像部の仮想的な設置位置と第２の視点に対応する撮像部の仮想的な設置位置の間に位置する、撮像部の仮想的な設置位置に対応する視点情報を順次取得するステップと、視点情報が取得される度に、撮像部（２ａ〜２ｃ）により取得された周辺画像に対して、その視点情報に表される視点に基づいて視点変換処理を行うことにより、その視点から周辺画像に写っている領域を見た視点変換画像を作成するステップと、第１の視点から第２の視点まで、あるいは第２の視点から第１の視点まで、各視点情報に表される視点に基づいて作成されたそれぞれの視点変換画像を所定の時間間隔で表示部（３）に順次切り替え表示させるステップとを含む。
本発明に係る運転支援方法は、自車両周囲を撮影した周辺画像に基づいて、ドライバが障害物を認識し、かつ自車両と障害物との位置関係を把握することを容易にする。特にこの運転支援方法は、複数の異なる視点から自車両周囲を見た視点変換画像を順次切り替えて表示する。そのため、この運転支援方法は、ドライバに自車両周囲に位置する立体的な障害物を仮想的に多方向から見せることができるので、ドライバがその障害物を認識することを容易にする。

上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

本発明の一つの実施形態に係る運転支援装置の全体構成図である。 （ａ）は、本発明の実施形態に係る運転支援装置に含まれるカメラの配置を示す車両の概略平面図であり、（ｂ）は、本発明の実施形態に係る運転支援装置に含まれるカメラの配置を示す車両の概略側面図である。 本発明の一つの実施形態に係る運転支援装置の制御部の機能ブロック図である。 視点テーブルの一例を示す図である。 視点変換処理において関連する座標系を示す図である。 （ａ）は、視点変換処理が行われていない周辺画像の一例を示す図であり、（ｂ）及び（ｃ）は、それぞれ、周辺画像に対応する視点と俯瞰画像に対応する視点の中間に位置する視点に関して、（ａ）に示される周辺画像を視点変換することにより得られる視点変換画像の一例を示す図であり、（ｄ）は、（ａ）に示される周辺画像を、車両の上方から垂直に下方を見下ろすように視点変換処理することにより得られる俯瞰画像の一例を示す図である。 本発明の一つの実施形態に係る運転支援装置の連続視点変換処理の動作フローチャートである。

以下、図を参照しつつ、一つの実施形態による、運転支援装置について説明する。
この運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより撮影された車両周囲を写す周辺画像に対して視点を変換する処理を行って、その視点変換処理により得られた視点変換画像を車内に設置されたディスプレイに表示するものである。特にこの運転支援装置は、視点の位置を様々に変化させた複数の視点変換画像を連続的にディスプレイにすることにより、ドライバが自車両の周囲に存在する立体的な障害物を認識することを容易にする。

図１は、本発明の一つの実施形態に係る運転支援装置１の全体構成を示す。図１に示すように、運転支援装置１は、車両１０に搭載された３台のカメラ２ａ、２ｂ、２ｃと、ディスプレイ３と、操作スイッチ４と、コントローラ５とを有する。カメラ２、ディスプレイ３及び操作スイッチ４と、コントローラ５とは、コントロールエリアネットワーク（以下、ＣＡＮという）６によって互いに接続されている。
また、コントローラ５は、ＣＡＮ６を介して、ハンドルの操舵角を検知する操舵角センサ７及び車両１０の電子制御ユニット８とも接続されている。そしてコントローラ５は、操舵角センサ７から、ハンドルの操舵角を表す操舵角信号を取得可能となっている。さらにコントローラ５は、電子制御ユニット８からシフトレバーのポジションを表すシフトポジション信号を取得可能となっており、そのシフトポジション信号に基づいて、車両１０が前進しているか、後進しているかを判断可能となっている。

カメラ２ａ〜２ｃは、CCDあるいはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に車両１０の周囲の路面などの像を結像する撮像光学系などを有する。そしてカメラ２ａ〜２ｃは、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。
カメラ２ａ〜２ｃは、撮影により得られた周辺画像を逐次コントローラ５へ送信する。

図２（ａ）及び図２（ｂ）は、それぞれ、３台のカメラ２ａ、２ｂ、２ｃが車両１０に設置された、カメラの配置の一例を示す、車両１０の概略平面図及び概略側面図である。図２（ａ）及び図２（ｂ）に示すように、カメラ２ａは、車両１０の後方、トランクの上部中央に、カメラ２ａの撮像光学系の光軸が、車両１０の後方且つ斜め下方に向くように取り付けられる。そしてカメラ２ａは、車両１０の後側端部の少なくとも一部及び車両１０の後方の路面を含む所定範囲を撮影する。またカメラ２ｂは、車両１０の左前方に、カメラ２ｂの撮像系の光軸が車両の前後方向の中心軸に対して左方向に４５°の角をなすように取り付けられる。そしてカメラ２ｂは、車両１０の前側端部の少なくとも一部及び車両１０の左前方の路面を含む所定範囲を撮影する。さらにカメラ２ｃは、車両１０の右前方に、カメラ２ｃの撮像系の光軸が車両の前後方向の中心軸に対して右方向に４５°の角をなすように取り付けられる。そしてカメラ２ｃは、車両１０の前側端部の少なくとも一部及び車両１０の右前方の路面を含む所定範囲を撮影する。

ディスプレイ３は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、インストルメントパネル内に配置される。なお、ディスプレイ３は、インストルメントパネルと独立して配置されてもよい。あるいは、ディスプレイ３は、ナビゲーション装置など、他の装置のディスプレイであってもよい。
操作スイッチ４は、例えば、ステアリングに取り付けられ、あるいは、インストルメントパネル内に設けられる。操作スイッチ４から発せられた操作信号は、ＣＡＮ６を介してコントローラ５に伝達される。そしてドライバは、操作スイッチ４を操作することにより、周辺画像に対して視点を様々に変更した視点変換処理を実行する連続視点変換処理の開始または停止を切り替えることが可能となっている。なお、連続視点変換処理の詳細は後述する。

コントローラ５は、記憶部５１と、通信部５２と、制御部５３とを有する。記憶部５１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部５１は、運転支援装置１を制御するための各種プログラム及びパラメータ、制御部５３による一時的な演算結果などを記憶する。また、通信部５２は、カメラ２ａ〜２ｃ、ディスプレイ３、操作スイッチ４、操舵角センサ７及び電子制御ユニット８とＣＡＮ６を通じて通信する通信インターフェース及びその制御回路を有する。

制御部５３は、１個もしくは複数個の図示してないマイクロプロセッサ及びその周辺回路を有する。そして制御部５３は、運転支援装置１全体を制御する。
図３に、制御部５３の機能ブロック図を示す。図３に示すように、制御部５３は、画像選択部５３１と、視点位置決定部５３２と、画像変換部５３３とを有する。制御部５３が有するこれらの各部は、例えば、制御部５３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。

画像選択部５３１は、カメラ２ａ〜２ｃのうちの何れのカメラにより取得された周辺画像をディスプレイ３に表示させるかを選択する。そのために、画像選択部５３１は、操舵角センサ７から取得した操舵角信号及び電子制御ユニット８から取得したシフトポジション信号を参照する。そして、画像選択部５３１は、シフトポジション信号がシフトレバーがリバースポジションとなっていることを示していれば、車両１０の後部に取り付けられたカメラ２ａを選択する。なお、画像選択部５３１は、車輪速度センサ（図示せず）から取得した車輪速度信号が、車両１０が後進していることを示していれば、カメラ２ａを選択してもよい。そして画像選択部５３１は、カメラ２ａの識別信号を制御部５３に通知する。一方、画像選択部５３１は、シフトポジション信号がシフトレバーがドライブポジションとなっていることを示しているか、あるいは車輪速度信号が車両１０が前進していることを示しており、かつ操舵角信号が車両１０が左方向へ旋回していることを示していれば、車両１０の左前方に取り付けられたカメラ２ｂを選択する。そして画像選択部５３１は、カメラ２ｂの識別信号を制御部５３に通知する。また、画像選択部５３１は、シフトポジション信号がシフトレバーがドライブポジションとなっていることを示しているか、あるいは車輪速度信号が車両１０が前進していることを示しており、かつ操舵角信号が車両１０が右方向へ旋回していることを示していれば、車両１０の右前方に取り付けられたカメラ２ｃを選択する。そして画像選択部５３１は、カメラ２ｃの識別信号を制御部５３に通知する。
制御部５３は、画像選択部５３１から通知された識別信号に対応するカメラに対して画像要求信号を送信する。そして制御部５３は、そのカメラから画像信号を受信し、画像変換部５３３に渡す。

視点位置決定部５３２は、連続視点変換処理が行われている間、記憶部５２に記憶されている視点テーブルを参照して、周辺画像に対する視点変換処理の基準となる視点を決定する。そこで、制御部５３が操作スイッチ４から連続視点変換処理を起動する操作信号を受け取ると、制御部５３は、記憶部５２から視点テーブルを読み込み、視点位置決定部５３２に渡す。
図４は、視点テーブルの一例を示す図である。図４に示されるように、視点テーブル４００は、各行ごとに、一つの視点に関する情報を有する。この視点に関する情報を、以下では視点情報と呼ぶ。そして視点テーブル４００の各欄は、左側の列から順に、カメラの実際の設置位置から仮想的なカメラの位置までの平行移動量を表す平行移動ベクトルと、カメラの実際の設置位置に対応する座標系を基準としたカメラの撮影方向の回転量を表す回転ベクトルとを表す。また視点変換処理により、画角も変換される場合には、各視点情報は、視点変換後の最大画角を有してもよい。例えば、視点テーブル４００は、５１個の視点情報を有する。そして一番上の行４１０は、視点変更しない、すなわち、周辺画像そのものに対応する視点情報を有する。また一番下の行４６０は、車両１０の上方から垂直に下方を見下ろす俯瞰画像に対応する視点情報を有する。そして中間の各行は、それぞれ、上から順に、周辺画像そのものの視点から俯瞰画像の視点までの間を等間隔で変更したときの視点情報を有する。すなわち、中間の各行に対応する視点情報の平行移動ベクトルの各成分及び回転ベクトルの各成分は、それぞれ、一番下の行４６０に示された平行移動ベクトルの各成分及び回転ベクトルの各成分を５０等分した値に、上から数えたその行の位置から１を引いた値を乗じた値を有する。
なお、隣接する二つの視点情報間の平行移動ベクトルの各成分の差及び回転移動ベクトルの各成分の差は、全ての視点情報にわたって等間隔でなくてもよい。例えば、ディスプレイ３上で、視点変換画像が高速に切り替わるように見せたい視点間では、その差を大きくし、ディスプレイ３上で、視点変換画像がゆっくり切り替わるように見せたい視点間では、その差を小さくしてもよい。具体的には、隣接する二つの視点情報間の平行移動ベクトルの各成分の差及び回転移動ベクトルの各成分の差を、周辺画像に対応する視点と俯瞰画像に対応する視点の中間点で最も大きく、周辺画像に対応する視点あるいは俯瞰画像に対応する視点に近づくほどその差を小さくしてもよい。

視点位置決定部５３２は、連続視点変換処理が開始されると、所定の遷移規則に従って、視点テーブルから一つずつ視点情報を読み込む。例えば、視点位置決定部５３２は、視点テーブルを参照して、視点変換を行わないときに対応する視点情報から俯瞰画像に対応する視点情報まで順に、一つずつ視点情報を取得する。そして視点位置決定部５３２は、視点情報を一つ取得する度に、その取得した視点情報を画像変換部５３３に渡す。
また視点位置決定部５３２は、俯瞰画像に対応する視点情報が取得されると、今度は逆に、俯瞰画像に対応する視点情報から実際のカメラの位置に対応する視点情報まで順に、一つずつ視点情報を取得する。あるいは、視点位置決定部５３２は、俯瞰画像に対応する視点情報が取得されると、再度実際のカメラの位置に対応する視点情報から俯瞰画像に対応する視点情報まで順に、一つずつ視点情報を取得してもよい。以後、視点連続変換処理が終了するまで、視点位置決定部５３２は、同様の処理を繰り返す。

画像変換部５３３は、視点位置決定部５３２から視点情報を取得する度に、その視点情報に基づいてカメラ２ａ〜２ｃの何れかから取得した周辺画像に対して視点変換処理を実行する。そしてその視点変換処理により、画像変換部５３３は、その視点情報に表された視点から周辺画像に写っている領域を見た視点変換画像を作成する。
図５を参照しつつ、画像変換部５３３による、所定の視点からの視点変換画像の作成手順を説明する。
図５において、実座標系５００は、カメラ２ａ〜２ｃの何れかの実際の設置位置を基準とする座標系である。例えば、実座標系５００では、x、y、zの各座標軸は、それぞれ、カメラにより撮影された画像上で水平となる方向に対応する方向、カメラにより撮影された画像上で垂直となる方向に対応する方向、カメラの光軸方向に平行な方向に設定される。また画像座標系５１０は、視点変換処理が行われていない、周辺画像上の座標系である。さらに、俯瞰座標系５２０は、車両１０の上方から垂直に下方を見下ろす仮想的なカメラの設置位置を基準とする座標系である。そして俯瞰座標系５２０においても、x、y、zの各座標軸は、それぞれ、カメラにより撮影された画像上で水平となる方向に対応する方向、カメラにより撮影された画像上で垂直となる方向に対応する方向、カメラの光軸方向に平行な方向に設定される。そして俯瞰画像座標系５３０は、周辺画像を車両１０の上方から垂直に下方を見下ろす視点からの画像に変換した俯瞰画像上の座標系である。

まず、画像変換部５３３は、次式に従って実座標系５００上の座標(X_c,Y_c,Z_c)を俯瞰座標系５２０上の対応する座標(X_t,Y_t,Z_t)に変換する。
ただし、平行移動ベクトル(T_x,T_y,T_z)は、カメラの実際の設置位置から俯瞰座標系５２０上の仮想的な設置位置への平行移動量を表し、例えば、(T_x,T_y,T_z)＝(-1.3,-1.3,-0.65)である。Ｒはカメラ回転行列であり、実座標系のx軸、y軸、z軸それぞれの周りの回転成分をＲ_x、Ｒ_y、Ｒ_zとして、Ｒ＝Ｒ_xＲ_yＲ_zと表される。なお、各軸周りの回転成分は、以下のように表される。
ただし、回転ベクトル(θ_x,θ_y,θ_z)は、カメラの撮影方向の回転量を表し、その各成分θ_x、θ_y、θ_zは、カメラの仮想的な設置位置における、カメラの光軸が実座標系のx軸、y軸、z軸それぞれとなす角である。例えば、(θ_x,θ_y,θ_z)＝(-35.5°,-3°,45°)である。

次に、画像変換部５３３は、次式にしたがって、実座標系５００上の座標(x_c,y_c,z_c)に対応する画像座標系５１０上の座標(X_d,Y_d)を求める。ただし、X_dは、画像座標系５１０上の水平方向の座標であり、Y_dは、画像座標系５１０上の垂直方向の座標である。
ここでC_xは画像座標系５１０の水平方向の中心位置の座標であり、C_yは画像座標系５１０の垂直方向の中心位置の座標である。すなわち、座標(C_x,C_y)は、カメラの撮像光学系の光軸上に位置する点に対応し、画像の左上端の座標を(0,0)とし、画像の水平方向及び垂直方向のサイズをI_x、I_yとすると、(C_x,C_y)＝(I_x/2,I_y/2)である。またD_xは、カメラの撮像光学系の歪曲収差を考慮した、画角90°に対応する、座標(C_x,C_y)からの画像上の水平方向の距離（画素単位）である。同様に、D_yは、カメラの撮像光学系の歪曲収差を考慮した、画角90°に対応する、座標(C_x,C_y)からの画像上の垂直方向の距離（画素単位）である。またdx、dyは、高次の補正項である。高次の補正が必要なければ、dx＝dy＝0である。

さらに、画像変換部５３３は、次式に従って、俯瞰座標系５２０上の座標(X_t,Y_t,Z_t)に対応する俯瞰画像座標系５３０の座標（X_u,Y_u）を決定する。
ここでV_xは、画角90°に対応する、俯瞰画像座標系５３０の中心座標(C_u,C_v)からの画像上の水平方向の距離（画素単位）である。同様に、V_yは、俯瞰画像座標系５３０の中心座標(C_u,C_v)からの画像上の垂直方向の距離（画素単位）である。C_uは俯瞰画像座標系５３０の水平方向の中心位置の座標であり、C_vは俯瞰画像座標系５３０の垂直方向の中心位置の座標である。すなわち、座標(C_u,C_v)は、仮想的な設置位置におけるカメラの撮像光学系の光軸上に位置する点に対応し、俯瞰画像の左上端の座標を(0,0)とし、俯瞰画像の水平方向及び垂直方向のサイズをV_x、V_yとすると、(C_u,C_v)＝(V_x/2,V_y/2)である。なお、視点情報に最大画角が含まれる場合、画像変換部５３３は、（４）式におけるそれぞれの第１項の係数2/πを、視点情報に含まれる最大画角の逆数で置換してもよい。

画像変換部５３３は、上記の（１）式〜（４）式に従って、俯瞰画像の各画素に対応する周辺画像の各画素の位置を決定する。そして画像変換部５３３は、俯瞰画像の各画素の画素値を、対応する周辺画像の画素値に設定することにより、視点変換画像を作成する。

なお画像変換部５３３は、視点変換処理を行う前の周辺画像、あるいは視点変換処理を行った後の視点変換画像に対して各種の補正処理を行ってもよい。例えば、画像変換部５３３は、周辺画像、あるいは視点変換画像に対して輝度補正処理あるいはコントラスト補正処理を行ってもよい。
画像変換部５３３は、視点位置決定部５３２から視点情報を受け取った順序に従って、作成した視点変換画像を順次制御部５３に渡す。そして制御部５３は、画像変換部５３３から受け取った画像を所定の時間間隔で順次ディスプレイ３に表示させる。なお、所定の時間間隔は、予め定められた固定値であってもよく、例えば、視点変換を行わないときの視点から、俯瞰画像に対応する視点まで、数秒から１０秒で変化するように設定される。あるいは、所定の時間間隔は、ドライバにより設定可能であってもよい。
また、制御部５３は、俯瞰画像に対応する視点変換画像をディスプレイ３に表示すると、一定の休止期間が経過した後、今度は逆に、所定の時間間隔で、俯瞰画像に対応する視点変換画像から、実際のカメラの位置に対応する周辺画像まで、視点変換画像を順次ディスプレイ３に切り替えて表示させる。あるいは、制御部５３は、俯瞰画像に対応する視点変換画像をディスプレイ３に表示すると、再度実際のカメラの位置に対応する周辺画像から俯瞰画像に対応する視点変換画像まで、視点変換画像を順次ディスプレイ３に切り替えて表示させてもよい。以後、視点連続変換処理が終了するまで、制御部５３は、同様の処理を繰り返す。なお、一定の休止期間は、ドライバが周辺画像または俯瞰画像に写っているものを十分に確認できるように設定される期間であり、例えば、３秒に設定される。また一定の休止期間は設けられなくてもよい。

図６（ａ）〜図６（ｄ）に、連続視点変換処理により得られる画像の例を示す。図６（ａ）は、視点変換処理が行われていない周辺画像６００を示す。また図６（ｄ）は、周辺画像６００に対して車両１０の上方から垂直に下方を見下ろすように視点変換処理がなされた俯瞰画像６３０を示す。さらに図６（ｂ）及び図６（ｃ）は、それぞれ、周辺画像６００に対応する視点と、俯瞰画像６３０に対応する視点の中間に位置する視点に関して、周辺画像５００を視点変換処理することにより得られる視点変換画像６１０、６２０を示す。なお、各画像６００〜６３０は、それぞれ、歪曲収差補正が実行されている。
図６（ａ）〜図６（ｄ）には、それぞれ、車両１０に近接して設置された物体６０１が写っている。この物体６０１は、パイロンである。周辺画像６００では、この物体６０１の像は、比較的実際のパイロンに近い形状を有している。そのため、ドライバは物体６０１をパイロンとして比較的容易に認識できる。しかし、周辺画像６００では、斜め方向からその物体６０１が撮影されているため、ドライバは、周辺画像６００のみを観察しても、車両１０と物体６０１との位置関係を正確に把握することは困難である。一方、俯瞰画像６３０では、視点変換処理により、物体６０１の像は、その物体の上側が物体の底辺近傍よりも広がっているような形状を有しており、実際のパイロンの形状とは大きく異なっている。そのため、ドライバは、俯瞰画像６３０のみを観察すると、俯瞰画像６３０に写っている物体６０１が何かを正確に認識することは困難であり、結果として、ドライバは、物体６０１が障害物であると認識できないおそれがある。
しかし、車両１０の周辺を見る視点が徐々に切り替わるように、ディスプレイ３に表示される画像が、周辺画像６００、視点変換画像６１０、視点変換画像６２０、俯瞰画像６３０の順に切り替われば、物体６０１の像の形状も徐々に変化する。そのため、ドライバは、周辺画像６００に写っている物体６０１と俯瞰画像６３０に写っている物体６０１とが同一の物であることを容易に認識できる。また、ドライバは、俯瞰画像６３０において写っている物体６０１がパイロンであると認識できれば、そのパイロンの形状も分かるため、車両１０とパイロンとの位置関係を容易に把握できる。

図７に、制御部５３により制御される、運転支援装置１の動作フローチャートを示す。
まず、制御部５３は、操舵角センサ７から取得した操舵角信号及び電子制御ユニット８から取得したシフトポジション信号に基づいて、車両１０が後進を開始したこと、あるいは車両１０が所定速度（例えば、２０ｋｍ／ｈ）以下で旋回を開始したことを検知すると、処理を開始する。

まず、制御部５３の画像選択部５３１は、カメラ２ａ〜２ｃのうち、操舵角信号と、シフトポジション信号または車輪速度信号に基づいて、車両１０の進行方向に対応するカメラを選択する（ステップＳ１０１）。そして制御部５３は、選択されたカメラに対して画像取得要求信号を送信し、選択されたカメラから周辺画像を取得する（ステップＳ１０２）。
その後、制御部５３は、操作部４より、連続視点変換処理を起動する操作信号を受信したか否か判定する（ステップＳ１０３）。連続視点変換処理を起動する操作信号を受信していなければ、制御部５３は、その周辺画像をそのままディスプレイ３に表示させる（ステップＳ１０４）。そして制御部５３は、制御をステップＳ１０１に戻す。

一方、制御部５３が連続視点変換処理を起動する操作信号を受信している場合、制御部５３の視点位置決定部５３２は、記憶部５２に記憶されている視点テーブルから一つの視点情報を取得する（ステップＳ１０５）。そして視点位置決定部５３２は、取得した視点情報を制御部５３の画像変換部５３３に渡す。

画像変換部５３３は、視点位置決定部５３２から受け取った視点情報に基づいて、カメラ２ａ〜２ｃのうちの何れかから制御部５３が受け取った周辺画像に対する視点変換処理を実行する（ステップＳ１０６）。そして画像変換部５３３は、視点変換処理が行われた画像を制御部５３に渡す。制御部５３は、その視点変換処理が行われた画像をディスプレイ３に表示させる（ステップＳ１０７）。

その後、制御部５３は、操作部４より、連続視点変換処理を停止する操作信号を受信したか否か判定する（ステップＳ１０８）。連続視点変換処理を停止する操作信号を受信していなければ、視点位置決定部５３２は、予め定められた遷移規則に従って、視点テーブルから次の視点情報を読み込む（ステップＳ１０９）。そして視点位置決定部５３２は、取得した視点情報を制御部５３の画像変換部５３３に渡し、その後制御部５３は、ステップＳ１０６〜Ｓ１０９の処理を繰り返す。
一方、ステップＳ１０９において、制御部５３は、連続視点変換処理を停止する操作信号を受信している場合、連続視点変換処理を終了する。
なお、各ステップにおける、制御部４３の各部の処理の詳細は既に詳述したので、ここではその説明を省略する。

以上説明してきたように、本発明の一つの実施形態に係る運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより車両周囲を撮影した周辺画像に対して視点変換処理を行って視点変換画像を作成し、その視点変換画像を車内に設置されたディスプレイに表示する。特にこの運転支援装置は、周辺画像そのものに対応する視点から俯瞰画像に対応する視点まで連続的に視点を変化させて作成した複数の視点変換画像を、ディスプレイに切り替えて表示する。そのため、この運転装置は、ドライバに対して、形状の歪みが比較的少ない周辺画像において自車両の周囲に存在する立体的な障害物を容易に認識させることができるとともに、その障害物を俯瞰画像上の対応する物体と容易に関連付けさせることができる。そのため、この運転支援装置は、ドライバが自車両とその障害物との位置関係を把握することを容易にする。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、運転支援装置が有するカメラの台数は３台に限られず、例えば、運転支援装置は、車両後方を撮影する１台のカメラのみを有していてもよい。あるいは、運転支援装置は、車両後方を撮影するカメラと、車両前方の左右の角のうち、運転席から離れた方の角に設置されたカメラのみを有していてもよい。
また、視点テーブルに記録される各視点情報に表される視点の範囲は、実際のカメラの設置位置に対応する視点から俯瞰画像に対応する視点よりも広くてもよく、あるいは、実際のカメラの設置位置に対応する視点から俯瞰画像に対応する視点よりも狭くてもよい。ただし、視点テーブルに記録される各視点情報に表される視点の範囲に、俯瞰画像とほぼ同様に自車両と立体的な障害物の間隔が見える視点変換画像を作成できる視点が含まれることが好ましい。また、その視点の範囲に、実際のカメラの設置位置近傍の視点のように、立体的な障害物の形状の歪みが少なくて済む視点変換画像を作成できる視点が含まれることが好ましい。さらに、視点テーブルは、カメラの実際の設置位置に対応する視点と、自車両の真横から自車両の端部を水平に見る視点間で視点が切り替わるように構成されていてもよい。
さらに、この運転支援装置は、連続視点変換処理の最中に、操作スイッチを操作することにより、ディスプレイに表示される視点変換画像の切り替えを一時的に停止できるようにしてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 運転支援装置
２ａ、２ｂ、２ｃ カメラ
３ ディスプレイ
４ 操作スイッチ
５ コントローラ
５１ 記憶部
５２ 通信部
５３ 制御部
５３１ 画像選択部
５３２ 視点位置決定部
５３３ 画像変換部
６ コントロールエリアネットワーク（ＣＡＮ）
１０ 車両

Claims (5)

1. 車両（１０）の周囲を撮影した周辺画像を取得する撮像部（２ａ〜２ｃ）と、
   前記撮像部の仮想的な設置位置及び撮影方向を表す視点に関する視点情報を複数記憶する記憶部（５２）と、
   前記複数の視点情報のうち、第１の視点に対応する前記撮像部の仮想的な設置位置と前記第２の視点に対応する撮像部の仮想的な設置位置の間に位置する、前記撮像部の仮想的な設置位置に対応する視点情報を順次取得する視点位置決定部（５２２）と、
   前記視点位置決定部（５２２）から前記視点情報を受け取る度に、前記撮像部（２ａ〜２ｃ）により取得された周辺画像に対して、当該視点情報に表される視点に基づいて視点変換処理を行うことにより、該視点から該周辺画像に写っている領域を見た視点変換画像を作成する画像変換部（５３３）と、
   前記第１の視点から前記第２の視点まで、あるいは前記第２の視点から前記第１の視点まで、各視点情報に表される視点に基づいて作成されたそれぞれの前記視点変換画像を所定の時間間隔で順次切り替え表示する表示部（３）と、
   を有することを特徴とする運転支援装置。
2. 前記第１の視点は前記撮像部（２ａ〜２ｃ）の設置位置及び撮影方向に対応する視点であり、前記第２の視点は車両（１０）の上方から垂直に下方を見下ろす視点である、請求項１に記載の運転支援装置。
3. 前記複数の視点情報のそれぞれに表される視点のうち、前記第１の視点と前記第２の視点の中間の第３の視点と該第３の視点に隣接する視点間の距離が最も長く設定され、該第３の視点から前記第１の視点あるいは前記第２の視点に近づくにつれて、隣接する視点間の距離が短く設定される、請求項２に記載の運転支援装置。
4. 前記撮像部（２ｂ）は、前記車両（１０）の左前方に取り付けられ、前記車両（１０）の前側端部の少なくとも一部及び前記車両（１０）の左前方の路面を撮影する、請求項１〜３の何れか一項に記載の運転支援装置。
5. 車両（１０）に取り付けられた撮像部（２ａ〜２ｃ）により車両（１０）の周囲を撮影した周辺画像を取得するステップと、
   記憶部（５２）に記憶された、前記撮像部の仮想的な設置位置及び撮影方向を表す仮想的な視点に関する複数の視点情報のうち、第１の視点に対応する前記撮像部の仮想的な設置位置と前記第２の視点に対応する撮像部の仮想的な設置位置の間に位置する、前記撮像部の仮想的な設置位置に対応する視点情報を順次取得するステップと、
   前記視点情報が取得される度に、前記撮像部（２ａ〜２ｃ）により取得された周辺画像に対して、当該視点情報に表される視点に基づいて視点変換処理を行うことにより、該視点から該周辺画像に写っている領域を見た視点変換画像を作成するステップと、
   前記第１の視点から前記第２の視点まで、あるいは前記第２の視点から前記第１の視点まで、各視点情報に表される視点に基づいて作成されたそれぞれの前記視点変換画像を所定の時間間隔で表示部（３）に順次切り替え表示させるステップと、
   を含むことを特徴とする運転支援方法。