JP2007226300A - 運転支援方法及び運転支援装置 - Google Patents

Abstract

【課題】運転支援画像の画質を向上する運転支援方法及び運転支援装置を提供する。
【解決手段】駐車支援装置１は、車両に設けられたカメラ３０から取得した画像データを、記録画像データとして画像メモリ１１に記憶する。また、画像プロセッサ１０は、カメラ３０から新たに取得した現在画像データに基づく現在俯瞰データと、記録画像データとの重複領域において、予め定められた条件に基づき、現在俯瞰データの画素値と記録画像データの画素値のいずれかを選択する。また、選択した画素値を用いて現在俯瞰データを補正して、その現在俯瞰データに基づいた運転支援画面をディスプレイ２０に表示する。
【選択図】図１

Description

本発明は、運転支援方法及び運転支援装置に関する。

従来より、安全運転を支援する装置として、車両周辺の背景を映した画面を表示する運転支援装置が知られている。この装置は、車両後端に取り付けられた車載カメラから映像信号を入力し、その映像信号に基づくモニタ画面を運転席近傍に配設されたディスプレイに出力する。

また、最近、駐車操作時に、車載カメラから入力した画像データを用いて画像処理を行い、駐車目標領域を俯瞰した俯瞰画像を表示する運転支援装置が提案されている（例えば、特許文献１及び２参照）。ドライバーは、俯瞰画像を視認することによって、駐車目標領域に対する自車両の相対位置・相対方向を把握することができる。
特開２００２−２８３９１３号公報 特開２００３−１９１８１０号公報

しかしながら、通常、上記した車載カメラによって撮像された画像は、広角レンズを通過した光の屈折により、図１６に示すように、いわゆるタル型の歪曲収差（ディストーション）が生じている。特にレンズの中心から離れた位置を通過した光線ほど強く屈折されるため、画像の歪みは、画像中心から離れた位置、即ち画像を表示する描画領域Ｚの周辺ほど大きくなる。このため、車載カメラによって生成した画像をそのままディスプレイに表示すると、実際に目視した背景と比べ違和感がある。また、歪みが生じた画像データを俯瞰変換しても、歪みが解消しきれないばかりか、俯瞰画像の画質低下の原因にもなる。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、運転支援画像の画質を向上する運転支援方法及び運転支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両の運転操作を支援する運転支援方法において、前記車両に設けられた撮像装置から取得した二つの画像データの重複領域において、前記二つの画像データの画素値のいずれかを、それらの画素値が対応する画素位置又は前記画素値の特性に基づいて選択し、選択した前記画素値を用いた運転支援画像を表示手段に表示することを要旨とする。

請求項２に記載の発明は、車両の運転操作を支援する運転支援方法において、前記車両に設けられた撮像装置から取得した画像データを、記録画像データとして画像データ記憶手段に記憶するとともに、前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを、それらの画素値が対応する画素位置に基づいて選択し、選択した画素値を用いて前記最新画像データを補正して、その最新画像データに基づいた運転支援画像を表示手段に表示することを要旨とする。

請求項３に記載の発明は、車両に搭載された運転支援装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、取得した画像データを、記録画像データとして記憶する画像データ記憶手段と、前記撮像装置から新たに取得した
最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを選択する判定手段と、前記判定手段により選択された画素値を用いて前記最新画像データを補正する第１画像処理手段と、補正した前記最新画像データを用いて運転支援画像データを生成する第２画像処理手段と、前記運転支援画像データを表示手段に出力する出力制御手段とを備えたことを要旨とする。

請求項４に記載の発明は、請求項３に記載の運転支援装置において、前記判定手段は、同じ画素座標に対応する前記最新画像データの画素値及び前記記録画像データの画素値のうち、前記撮像装置の光軸位置に近い画素位置の画素値を採用することを要旨とする。

請求項５に記載の発明は、請求項３又は４に記載の運転支援装置において、前記撮像装置から取得した前記画像データを俯瞰変換した前記記録画像データを生成するとともに、前記最新画像データを俯瞰変換する俯瞰変換手段をさらに備えたことを要旨とする。

請求項６に記載の発明は、請求項３〜５のいずれか１項に記載の運転支援装置において、前記第２画像処理手段は、補正した前記最新画像データと、現在の前記撮像装置の死角領域を撮像している前記記録画像データとを用いて、現在の前記撮像装置の死角領域を含む前記運転支援画像データを生成することを要旨とする。

請求項７に記載の発明は、請求項３〜６のいずれか１項に記載の運転支援装置において、前記車両周辺の移動体を検出する移動体検出手段を備えるとともに、前記出力制御手段は、移動体が検出された際に、前記運転支援画像データに替わり、新たに前記撮像装置から取得した画像データを前記表示手段に出力することを要旨とする。

請求項１に記載の発明によれば、二つの画像データの重複領域において、重複する画素座標に対する二つの画素値のうち、最適な画素値を選択するとともに、その画素値を用いた運転支援画像を表示手段に表示する。このため、例えば、一方の画像データのうち、部分的に画質低下が生じている場合、その画質が低下した部分を他方の画像データで補うことにより、運転支援画像の画質を向上することができる。

請求項２に記載の発明によれば、最新画像データと記録画像データとの重複領域において、最適な画素値を選択して、最新画像データを補正する。このため、例えば、画像に、撮像装置のレンズに起因する歪み等が生じて画質を低下させている場合、この歪みを取り除くことにより、運転支援画像の画質を向上することができる。

請求項３に記載の発明によれば、第１画像処理手段は、最新画像データと記録画像データとの重複領域において、最適な画素値を選択して、最新画像データを補正する。このため、例えば、画像に、撮像装置のレンズに起因する歪み等が生じて画質を低下させている場合、この歪みを取り除くことにより、運転支援画像データの画質を向上することができる。

請求項４に記載の発明によれば、判定手段は、同じ画素座標に対応する、最新画像データの画素値及び記録画像データの画素値のうち、撮像装置の光軸位置に近い画素値を採用する。このため、撮像装置のレンズに起因し、画像周辺、即ち光軸から離れた領域で生じる歪みを解消することができる。

請求項５に記載の発明によれば、俯瞰変換手段により、記録画像データ及び最新画像データは俯瞰変換される。このため、車両周辺を俯瞰した運転支援画像を表示することができる。

請求項６に記載の発明によれば、第２画像処理手段によって、最新画像データと記録画像データとを用いて、撮像装置の死角を表示した運転支援画像が表示される。従って、撮像装置の死角に入った領域、白線、車輪止めも表示することができるので、車両と運転目標領域との相対位置をより的確に把握することができる。

請求項７に記載の発明によれば、出力制御手段は、移動体検出手段が移動体を検出した場合に、記録画像データを合成しない状態の画像データを出力するので、移動体の進入等、現在の車両周辺状況を反映した画像を表示することができる。このため、安全性を向上させることができる。

以下、本発明を具体化した一実施形態を、図１〜図１１に従って説明する。図１は、自動車に搭載された運転支援装置としての駐車支援装置１の構成を説明するブロック図である。

図１に示すように、駐車支援装置１は、駐車支援ユニット２、各種画面を表示する表示手段としてのディスプレイ２０、警告音又は案内音声を出力するスピーカ２８、及び撮像装置としてのバックモニタカメラ（以下、単にカメラ３０という）を備えている。駐車支援ユニット２の移動体検出手段としての制御部３は、図示しないコンピュータを備え、ＲＯＭ５に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ４は、制御部３の演算結果を一時記憶するとともに、駐車支援のための各種変数及びフラグ等を記憶している。

ＲＯＭ５には、運転支援プログラムの他、駐車支援装置１が搭載された車両Ｃ（図２参照）をディスプレイ２０に描画するための自車画像データ５ａが格納されている。この自車画像データ５ａは、車両Ｃを鉛直方向上方から俯瞰した画像を表示する。

また、駐車支援装置１は、ＧＰＳ（global positioning system）受信部６を備えてい
る。制御部３は、ＧＰＳ受信部６が受信したＧＰＳ衛星からの信号に基づき、電波航法によって、駐車支援装置１が搭載された車両Ｃの絶対座標を算出する。

さらに、駐車支援ユニット２は、車両側インターフェース部（車両側Ｉ／Ｆ部７）を備えている。制御部３は、この車両側Ｉ／Ｆ部７を介して、車両Ｃに設けられた車速センサ２１及びジャイロ２２から、車速パルスＶＰ及び方位検出信号ＧＲＰを入力する。制御部３は、この車速パルスＶＰの波形により、車両Ｃの前進及び後退を判断する。また、制御部３は、車速パルスＶＰの入力パルス数により、基準位置からの車両Ｃの移動量を算出する。さらに、制御部３は、入力した方位検出信号ＧＲＰに基づき、メインメモリ４に記憶された変数である、現在方位ＧＲを更新する。

また、制御部３は、車両側Ｉ／Ｆ部７を介して、車両Ｃのニュートラルスタートスイッチ２３から、シフトポジション信号ＳＰＰを入力し、メインメモリ４に格納された変数であるシフトポジションＳＰを更新する。さらに、制御部３は、車両側Ｉ／Ｆ部７を介して、ステアリング舵角センサ２４から、ステアリングセンサ信号ＳＴＰを入力する。制御部３は、このステアリングセンサ信号ＳＴＰに基づき、メインメモリ４に格納された車両Ｃの現在舵角ＳＴＲを更新する。

さらに、制御部３は、車両側Ｉ／Ｆ部７を介して、車両Ｃに設けられたセンサ制御部２５から、車両周辺の障害物との相対距離を示すソナー信号ＳＮを入力する。センサ制御部２５は、図２（ａ）に示す、各ソナー２６との間で各種信号を入出力して、各ソナー２６
の制御、入力信号の処理を行うコンピュータである。これらのソナー２６としては、リヤバンパー等、車両後端ＣＢの右隅に設けられた第１クリアランスソナー（以下、第１ソナー２６ａという）、左隅に設けられた第２クリアランスソナー（以下、第２ソナー２６ｂという）、中央部に設けられた１対のバックソナー２６ｃから構成されている。尚、第１〜第２ソナー２６ａ，２６ｂ、バックソナー２６ｃを互いに区別しないで説明する場合には、単にソナー２６として説明する。

各ソナー２６は、超音波を送受信するマイクロホンや、増幅等を行う制御回路（いずれも図示せず）を内蔵している。各ソナー２６は、車両Ｃ周辺に、所定の順番に繰り返し超音波を発信する。センサ制御部２５は、超音波が障害物に反射して、各ソナー２６にあたるまでの所要時間により、各ソナー２６から障害物までの相対距離を算出する。そして、センサ制御部２５は、車両周辺の障害物の有無と、障害物が検出された場合、その障害物までの相対距離とを示すソナー信号ＳＮを、制御部３に出力する。

また、図１に示すように、駐車支援ユニット２は、画像データ取得手段としての画像データ入力部９を備えている。画像データ入力部９は、制御部３の主制御により、車両Ｃに設けられたカメラ３０を駆動制御する。カメラ３０は、図２（ｂ）に示すように、車両Ｃのバックドア等、車両後端ＣＢに光軸を斜め下方に向けて取り付けられている。このカメラ３０は、カラー画像を撮像するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）とを備えている。図２（ｂ）に示すように、カメラ３０は、車両後方を撮像範囲Ｚｎとしている。

駐車操作時等、車両Ｃが後退を始めると、制御部３は、画像データ入力部９を介して、カメラ３０から、図３（ａ）に示すような画像データＧを所定の間隔でキャプチャする。駐車支援ユニット２が備える判定手段、第１画像処理手段、第２画像処理手段、出力制御手段、俯瞰変換手段としての画像プロセッサ１０（図１参照）は、キャプチャした画像データＧのうち、車両Ｃから比較的遠い領域に相当する遠方領域３１ａを削除する。そして、車両周辺領域３１ｂを抽出することにより、抽出データＧ１を生成する。

さらに、画像プロセッサ１０は、生成した抽出データＧ１を公知の方法で俯瞰変換する。これにより、図３（ｂ）に示すように、車両Ｃの後方周辺を鉛直方向上方の視点から俯瞰した記録画像データＧ２が生成される。この俯瞰変換により、例えば、図３（ａ）に示す、駐車目標領域を区画した白線３１ｃ等のような画像の歪みが緩和される。しかし、図３（ｂ）では図示を省略するが、俯瞰変換後の俯瞰画像３５でも、歪みは除去しきれず、残った状態になっている。

抽出データＧ１を俯瞰変換して記録画像データＧ２を生成すると、画像プロセッサ１０は、制御部３を介して、車両Ｃの現在位置及び方位を取得する。そして、図４に示すように、これらのデータを位置データ３２、方位データ３３として、記録画像データＧ２に関連付けて、駐車支援ユニット２が備える画像データ記憶手段としての画像メモリ１１（図１参照）に記憶する。尚、位置データ３２及び方位データ３３は、図４のように記録画像データＧ２に添付されても良いし、位置データ３２及び方位データ３３からなるマップと、記録画像データＧ２をヘッダ等により紐付けしてもよい。

また、車両Ｃが後退する際、画像プロセッサ１０は、記録画像データＧ２を蓄積する処理と並行して、駐車支援画面を生成する処理を行う。この処理では、カメラ３０から、最新の画像データＧ（以下、現在画像データＧ４という）を取得し、現在画像データＧ４に画像メモリ１１に蓄積された記録画像データＧ２を部分的に合成して、現在画像データＧ４の歪みを取り除く。また、合成した現在画像データＧ４と、現在のカメラ３０の死角領域を撮像している記録画像データＧ２とを用いて駐車支援画像データを生成する。そして
、駐車支援画像データを、所定のタイミングでディスプレイ２０に出力する。

各種画像が表示されるディスプレイ２０は、タッチパネルであって、このタッチパネルや、ディスプレイ２０に隣設された操作スイッチ２７（図１参照）がユーザにより入力操作されると、駐車支援ユニット２が備える外部入力インターフェース部（以下、外部入力Ｉ／Ｆ部１２という）が、入力操作に応じた入力信号を制御部３に対して出力する。

また、駐車支援ユニット２は、音声プロセッサ１３を備えている。音声プロセッサ１３は、音声ファイルを格納した図示しないメモリやデジタル／アナログ変換器等を備え、その音声ファイルを使用して、駐車支援装置１が具備するスピーカ２８から案内音声や警告音を出力する。

次に、本実施形態の駐車操作を補助するための処理手順について、図５〜図７に従って説明する。まず、図５に示すように、制御部３は、ＲＯＭ５に記憶された運転支援プログラムに従って、開始トリガの入力を待つ（ステップＳ１−１）。開始トリガは、ニュートラルスタートスイッチ２３から出力された、リバースレンジへの切替を示すシフトポジション信号ＳＰＰであって、シフトポジションＳＰがリバースに切り替えられたと判断すると（ステップＳ１−１においてＹＥＳ）、制御部３は、その時点の車両Ｃの位置を初期位置として設定する。

また、制御部３は、車速パルスＶＰの入力を待つ（ステップＳ１−２）。車両Ｃが駐車のために後退を開始した場合、制御部３は車速パルスＶＰを入力し（ステップＳ１−２においてＹＥＳ）、車両Ｃの現在位置と方位からなる車両位置を算出する（ステップＳ１−３）。制御部３は、後退を始めた上記初期位置から現在の位置に到達するまでに入力した車速パルスＶＰのパルス数を累積し、パルス数に基づき初期位置からの移動量を算出する。そして、移動量及び方位検出信号ＧＲＰに基づき、初期位置に対する相対座標を示す位置データ３２を算出する。また、ジャイロ２２から入力した方位検出信号ＧＲＰに基づき、車両Ｃの方位を算出し、その方位を方位データ３３とする。

次に、制御部３は、画像データ入力部９を介して、カメラ３０が撮像した画像をキャプチャして、画像データＧを入力する（ステップＳ１−４）。そして、画像プロセッサ１０は、図３（ａ）に示すように、キャプチャした画像データＧのうち、遠方領域３１ａを削除して、抽出データＧ１を生成する。さらに、抽出データＧ１を、俯瞰変換して、図３（ｂ）に示すような記録画像データＧ２を生成する（ステップＳ１−５）。

記録画像データＧ２が生成されると、ステップＳ１−３で算出した位置データ３２及び方位データ３３を、記録画像データＧ２に関連付けて、画像メモリ１１に記憶する（ステップＳ１−６）。

この記録画像データＧ２の蓄積処理は、車両Ｃが所定距離（数十〜数百ｍｍ程度）後退する度に、画像データＧを入力して記録画像データＧ２を蓄積してもよいし、所定時間（数ミリ秒〜数秒）毎に蓄積してもよい。その結果、少なくとも数十〜数百ｍｍ毎の地点で撮像された画像データＧに基づき、各記録画像データＧ２が生成され、画像メモリ１１に蓄積される。

次に、画像合成処理について、図６に従って説明する。この処理は、記録画像データＧ２の蓄積処理と並行して行われる。まず、ステップＳ１−１，Ｓ１−２と同様に、制御部３は、開始トリガの入力、車速パルスの入力を待つ（ステップＳ２−１，ステップＳ２−２）。車両Ｃが後退を開始すると（ステップＳ２−１及びステップＳ２−２においてＹＥＳ）、制御部３は、車両Ｃ周辺の移動体の有無を判断する（ステップＳ２−３）。このと
き、制御部３は、センサ制御部２５を介して、各ソナー２６からのソナー信号ＳＮを入力する。そして、ソナー信号ＳＮに基づき、障害物の有無の判断を行うとともに、障害物がある場合には車両Ｃと障害物との相対距離を取得する。このとき入力したソナー信号ＳＮに基づき、障害物が無いと判断した場合には（ステップ２−３においてＹＥＳ）、ステップＳ２−５に進む。

障害物があると判断した場合には、制御部３は、続けて、新たに出力されたソナー信号ＳＮを入力し、障害物の有無の判断を行い、障害物までの相対距離を取得する。そして、１回目に入力したソナー信号ＳＮに基づく障害物までの相対距離Ｄ１と、２回目に入力したソナー信号ＳＮに基づく相対距離Ｄ２とを比較する。さらに、各相対距離Ｄ１，Ｄ２の差の絶対値（＝｜Ｄ１−Ｄ２｜）が、各ソナー信号ＳＮの計測時間内に車両Ｃが後退した後退量ΔＬと等しい場合には（ΔＬ＝｜Ｄ１−Ｄ２｜）、その障害物は、駐車している他車両、塀等の静止障害物であると判断する。制御部３は、静止障害物を検出すると、移動体が検出されないと判断し（ステップＳ２−３においてＹＥＳ）、ステップＳ２−５に進む。

一方、後退量ΔＬが、各相対距離Ｄ１，Ｄ２の差と異なる場合には（ΔＬ≠｜Ｄ１−Ｄ２｜）、その障害物は、車両Ｃの後方に進入した他車両、歩行者等の移動体であると判断する（ステップＳ２−３においてＮＯ）。この場合、ドライバーに現在の車両周辺状況を通知することを優先させて、画像プロセッサ１０は、カメラ３０から現在画像データＧ４を取得し、その現在画像データＧ４をディスプレイ２０に出力する。その結果、図８に示すような背景画像４１が表示される。このとき、音声プロセッサ１３により、移動体が車両周辺にあることを通知する警告音、警告音声をスピーカ２８から出力するようにしてもよい。

また、画像プロセッサ１０は、背景画像４１に、ガイド線４２を重畳して、現在モニタ画面４０を生成する。ガイド線４２は、車幅延長線４３と、ステアリングセンサ信号ＳＴＰに基づき、車両Ｃの進路を予想した予想進路線４４とからなる。

一方、上記したように、図６に示すステップＳ２−３で移動体が無いと判断すると（ステップＳ２−３においてＹＥＳ）、画像メモリ１１に所定の記録画像データＧ２が蓄積されているか否かを判断する（ステップＳ２−５）。本実施形態では、画像プロセッサ１０は、車両Ｃの現在位置から所定距離（例えば８００ｍｍ〜１ｍ）後方の位置データ３２が対応付けられた記録画像データＧ２を検索する。その記録画像データＧ２が蓄積されていない場合には（ステップＳ２−５においてＮＯ）、ステップＳ２−４に進み、現在モニタ画面４０をディスプレイ２０に表示する。そして、ステップＳ２−１に戻る。

所定の記録画像データＧ２が記憶されていると判断すると（ステップＳ２−５においてＹＥＳ）、画像プロセッサ１０は、その記録画像データＧ２と、記録画像データＧ２に対応付けられた位置データ３２及び方位データ３３とを画像メモリ１１から読み出す（ステップＳ２−６）。さらに、画像プロセッサ１０は、画像データ入力部９を介して、現在画像データＧ４を入力する（ステップＳ２−７）。そして、入力した現在画像データＧ４を、記録画像データＧ２と同様な方法で俯瞰変換して、最新画像データとしての現在俯瞰データＧ５を生成する（ステップＳ２−８）。

さらに、画像プロセッサ１０は、現在俯瞰データＧ５の補正を行う（ステップＳ２−９）。この処理について図７に従って詳述する。まず、画像プロセッサ１０は、補正用の記録画像データＧ２の有無を判断する（ステップＳ３−１）。このとき検索される記録画像データＧ２は、車両Ｃの現在位置から所定距離範囲（例えば現在位置を中心に、半径５００ｍｍ〜８００ｍｍの範囲）の位置データ３２が対応付けられた記録画像データＧ２であ
る。

該当する記録画像データＧ２があると判断すると、その補正用の記録画像データＧ２と、記録画像データＧ２に対応付けられた位置データ３２及び方位データ３３とを読み出す（ステップＳ３−２）。そして、現在の車両Ｃの方位と方位データ３３との相対角度に基づいて、記録画像データＧ２を現在の方位に合わせて座標変換（回転変換）する（ステップＳ３−３）。そして、回転変換した記録画像データＧ２の位置データ３２と、現在俯瞰データＧ５を撮像した位置とに基づき、その記録画像データＧ２のうち、現在俯瞰データＧ５の画素と重複する画素があるか否かを判断する（ステップＳ３−４）。

具体的には、画像プロセッサ１０は、図９に示すように、俯瞰画像用の座標系（ｘ、ｙ）において、現在俯瞰データＧ５が描画している描画領域Ｚ１を算出する。この俯瞰画像用の座標系は、俯瞰変換した画像データが、車両Ｃが走行する路面のどの領域を撮像したかを示す座標系であって、ｙ軸は車両Ｃの後退方向に相当する。また、画像プロセッサ１０は、読み出した記録画像データＧ２に対応付けられた位置データ３２に基づき、記録画像データＧ２が描画している描画領域Ｚ２を算出する。そして、現在俯瞰データＧ５の描画領域Ｚ１と、記録画像データＧ２の描画領域Ｚ２とが重複している部分を重複領域Ｚ３とする。

一方、現在俯瞰データＧ５に対応する画素が記録画像データＧ２に含まれない場合（ステップＳ３−４においてＮＯ）、現在俯瞰データＧ５を記録画像データＧ２によって補正できないとして、図６に示すステップＳ２−１０に進む。

重複領域Ｚ３が存在した場合（ステップＳ３−４においてＹＥＳ）、その重複領域Ｚ３内の各画素を１画素ずつ所定の方向に走査して、現在俯瞰データＧ５の画素値と記録画像データＧ２の画素値のどちらを採用するかを判断する（ステップＳ３−５）。

詳述すると、図１０に示すように、重複領域Ｚ３のうち、重複する各画素座標（画素位置）について、各描画領域Ｚ１，Ｚ２の中心Ｃ５，Ｃ２からの距離をそれぞれ算出し、各中心Ｃ５，Ｃ２からの相対距離が短い方を採用する。各中心Ｃ５，Ｃ２は、カメラ３０の光軸位置に相当する。各画素のうち、この中心Ｃ５，Ｃ２からの距離Ｄ１，Ｄ２が短い画素ほど、レンズに起因する画像の歪みがなく、遠くなるほど歪みが大きくなる。例えば、重複領域Ｚ３の画素座標Ａにおいて、現在俯瞰データＧ５の描画領域Ｚ１の中心Ｃ５からの距離Ｄ１は、記録画像データＧ２の描画領域Ｚ２の中心Ｃ２からの距離Ｄ２よりも短い。このため、画素座標Ａでは、現在俯瞰データＧ５の画素値を採用する。また、画素座標Ｂにおいて、現在俯瞰データＧ５の描画領域Ｚ１の中心Ｃ５からの距離Ｄ３は、記録画像データＧ２の描画領域Ｚ２の中心Ｃ２からの距離Ｄ４よりも長い。このため、画素座標Ｂでは、記録画像データＧ２の画素値を採用し、現在俯瞰データＧ５の画素値を、記録画像データＧ２の画素値で置き換える。

そして、一つの画素座標について判定を終了すると、重複領域Ｚ３内の全画素について判定を完了したか否かを判断する（ステップＳ３−６）。完了したと判断した場合には（ステップＳ３−６においてＹＥＳ）、図６に示すステップＳ２−１０に進む。完了していないと判断した場合には（ステップＳ３−６においてＮＯ）、ステップＳ３−４に戻り、重複領域Ｚ３内で対応する画素において、採用する画素値を判定し、記録画像データＧ２の画素値を採用する場合には、その画素値を、現在俯瞰データＧ５の画素値と置き換える。

こうして重複領域Ｚ３の全画素について判定を完了すると、現在俯瞰データＧ５は、部分的に記録画像データＧ２によって合成され、周辺部でも歪みのすくない画像データにな
る。このような現在俯瞰データＧ５が生成されると、ステップＳ２−１０に進み、画像プロセッサ１０は、駐車支援画面を生成及び出力する。このとき、画像プロセッサ１０は、図６に示すステップＳ２−６で読み出した、画面合成用の記録画像データＧ２及び補正した現在俯瞰データＧ５を用いて、運転支援画像データとしての駐車支援画像データＧ６を生成する。駐車支援画像データＧ６は、図１１に示すディスプレイ２０の描画領域Ｚのうち、記録画像描画領域Ｚ５に記録画像データＧ２が配置されている。記録画像描画領域Ｚ５は、描画領域Ｚのうち、上方に設けられている。この記録画像データＧ２に基づく記録画像４５は、現在のカメラ３０の死角領域に相当する路面を俯瞰した画像になっている。

また、図１１に示すように、画像プロセッサ１０は、補正した現在俯瞰データＧ５を、描画領域Ｚのうち、現在画像描画領域Ｚ６に配置する。現在画像描画領域Ｚ６は、描画領域Ｚの下部に配置されている。現在俯瞰データＧ５に基づく現在画像４６は、現在のカメラ３０の可視領域を、上方から俯瞰した画像になっている。

さらに、画像プロセッサ１０は、ＲＯＭ５に記憶された自車画像データ５ａを記録画像描画領域Ｚ５のうち、車両Ｃの現在位置に相当する位置に出力する。これにより、記録画像４５に、自車画像データ５ａに基づく自車画像４７が重畳される。自車画像４７は、車両Ｃのリヤ部に相当する画像であって、車両Ｃのリヤバンパー（後端）が、描画領域Ｚの下方を向くように配置されている。また、画像プロセッサ１０は、現在画像４６に、俯瞰ガイド線５４を重畳する。俯瞰ガイド線５４は、通常の現在モニタ画面４０に描画されるガイド線４２を、俯瞰変換した線であって、車幅延長線５５と、舵角に応じて車両Ｃの進路を予想した予想進路線５６とから構成される。図１１では、車両Ｃが後方に直進している状態であるため、車幅延長線５５と予想進路線５６とが重なっている。

その結果、図１１に示すように、記録画像４５及び現在画像４６が連続して表示されるとともに、車両Ｃの現在位置に応じて自車画像４７が描画された、駐車支援画像としての駐車支援画面５０が表示される。駐車支援画面５０は、車両Ｃの後退方向が、描画領域の下方になるように、即ち図１１中Ｙ矢印方向になるように表示されている。ドライバーは、駐車支援画面５０に表示された駐車目標領域５１に対する車両Ｃの相対位置を確認するとともに、駐車支援画面５０の白線５２に対する車両Ｃの向き、白線５２との間のスペース等を確認することができる。このため、白線５２の向きに略平行に、且つ白線５２に対して適度なスペースを保持して駐車することができる。さらに、駐車支援画面５０の車輪止め５３と車両Ｃとの相対距離が確認できるので、車輪止め５３とタイヤとの接触による際に、衝撃を緩和できるように速度を下げることができる。

駐車支援画面５０を表示すると、図６に示すように、制御部３は、終了トリガを入力したか否かを判断する（ステップＳ２−１１）。終了トリガは、ここでは、シフトポジションがリバース以外のレンジへの切替を示すシフトポジション信号ＳＰＰである。終了トリガを入力していない場合には（ステップＳ２−１１においてＮＯ）、ステップＳ２−３に戻り、移動体の有無を判断して、移動体が検出されない間、駐車支援画面５０を更新及び表示する。終了トリガを入力すると（ステップＳ２−１１においてＹＥＳ）、駐車支援画面５０の表示を終了する。

（１）上記実施形態では、制御部３は、車両Ｃに設けられたカメラ３０から画像データＧを取得し、位置データ３２及び方位データ３３とを対応付けて記録画像データＧ２として画像メモリ１１に記憶するようにした。また、画像プロセッサ１０は、車両Ｃが後退している間、記録画像データＧ２を画像メモリ１１から読み出して、俯瞰座標系において、記録画像データＧ２と現在俯瞰データＧ５との重複領域Ｚ３を算出するようにした。そして、重複領域Ｚ３のうち、互いに対応している各画素において、各描画領域Ｚ１，Ｚ２の中心Ｃ２，Ｃ５から距離が短い方の画素値を採用するようにした。即ち、現在俯瞰データ
Ｇ５の画素値が採用された場合には、その画素値を用い、記録画像データＧ２の画素値が採用された場合には、現在俯瞰データＧ５の画素値と置き換えるようにした。このため、画像周辺で生じる歪みを解消し、駐車支援画面５０の画質を向上することができる。

（２）上記実施形態では、画像プロセッサ１０は、俯瞰変換した記録画像データＧ２と、俯瞰変換した現在俯瞰データＧ５とを用いて駐車支援画面５０を生成するようにした。このため、車両周辺を俯瞰した駐車支援画面５０を表示することができる。

（３）上記実施形態では、現在のカメラ３０の死角領域を撮像している記録画像データＧ２と、補正した現在俯瞰データＧ５とを用いて駐車支援画面５０を表示するようにした。従って、カメラ３０の死角に入った駐車目標領域５１、白線５２、車輪止め５３も表示することができるので、車両Ｃと駐車目標領域との相対位置をより的確に把握することができる。

（４）上記実施形態では、制御部３は、ソナー信号ＳＮに基づき、車両周辺に、歩行者・走行中の他車両等の移動体を検出するようにした。そして、移動体が検出された際に、現在画像データＧ４に基づく現在モニタ画面４０をディスプレイ２０に表示するようにした。このため、車両Ｃの周辺に歩行者等がいるときは、現在の車両周辺状況が反映された画面を確認できるので、安全性を向上させることができる。

尚、上記各実施形態は以下のように変更してもよい。
・上記実施形態では、画像データＧのうち、遠方領域３１ａを削除して、抽出データＧ１を俯瞰変換してから記録画像データＧ２を生成するようにした。これ以外に、画像データＧを俯瞰変換したデータを画像メモリ１１に蓄積し、駐車支援画面５０の合成、現在俯瞰データＧ５の補正を行う際に、遠方領域３１ａを削除するようにしてもよい。

・上記実施形態では、現在俯瞰データＧ５を補正するために用いる記録画像データＧ２は、車両Ｃの現在位置から、所定距離範囲（例えば現在位置を中心に、半径５００ｍｍ〜８００ｍｍの範囲）で撮像された記録画像データＧ２としたが、これに限定されない。例えば、所定距離範囲は、数十ｍｍでもよく、数ｍでもよい。また、現在位置を中心に円形状の範囲内で撮像された記録画像データＧ２としたが、現在位置から進行方向後方の所定距離離れた位置で撮像された記録画像データＧ２でもよい。

・上記実施形態では、１枚の記録画像データＧ２と、修正した現在俯瞰データＧ５とを合成するようにしたが、複数枚の記録画像データＧ２を用いて、記録画像を表示しても良い。例えば、画像データＧを車両Ｃの進行方向に直交する方向に切断して、短冊状の記録画像データＧ２を生成して画像メモリ１１に蓄積してもよい。そして、図１２に示すように、その短冊状の各記録画像データＧ２を車両Ｃの進行方向に連続させて、記録画像４５を生成してもよい。

・上記実施形態では、記録画像データＧ２と、補正した現在俯瞰データＧ５とを合成して駐車支援画面５０を生成したが、補正した現在俯瞰データＧ５のみを表示するようにしてもよい。例えば、図１３（ａ）に示すように、現在俯瞰データＧ５に基づく現在画像４６と俯瞰ガイド線５４とを重畳した駐車支援画面６０を表示してもよい。又は図１３（ｂ）に示すように、ディスプレイ２０の描画領域Ｚのうち、現在画像描画領域Ｚ６に現在俯瞰データＧ５に基づく現在画像４６を描画し、その上方の領域に、自車画像４７を表示するようにしてもよい。

・上記実施形態では、画像プロセッサ１０は、俯瞰変換した記録画像データＧ２及び現在俯瞰データＧ５を用いて駐車支援画面５０を表示するようにしたが、俯瞰変換を行わな
くても良い。例えば、図１４に示すように、俯瞰変換しない記録画像データＧ２に基づく記録画像６２と、所定の記録画像データＧ２によって上記したように補正され、現在画像データＧ４に基づく現在画像６３とを連続させて表示してもよい。また、記録画像６２には、車両Ｃの現在位置を示す車両輪郭線６４等の指標、ガイド線を重畳する。このようにすると、レンズの曇り、又は外部照明が直接レンズに当たった時など、現在画像データＧ４に画像の乱れが生じたときに、記録画像データＧ２で補正することができるので、高い画質の駐車支援画像を表示することができる。

・上記実施形態では、記録画像データＧ２及び現在俯瞰データＧ５の各描画領域Ｚ１，Ｚ２の重複領域Ｚ３に対し、一画素ずつ、採用する画素値を判定したが、予め定められた、画素位置としての領域、又は画素位置としての画素群毎に判定を行ってもよい。例えば、図１５に示すように、予め各描画領域Ｚ１，Ｚ２を、複数に区画して画素位置としての小領域Ｚ７，Ｚ８を生成する。そして、互いに重複する小領域Ｚ７，Ｚ８を検索し、小領域Ｚ７，Ｚ８と、各描画領域Ｚ１，Ｚ２の中心Ｃ５，Ｃ２との相対距離によって、採用する小領域Ｚ７，Ｚ８を決定する。このようにすると、画素値の採用判定の際の処理を軽くすることができる。

・駐車支援装置１は、ＧＰＳ受信部６を省略してもよい。また、ジャイロ２２及びステアリング舵角センサ２４のうちいずれか一方を省略するようにしてもよい。ジャイロ２２が省略された場合には、舵角に基づき駐車支援装置１は基準位置からの相対角度を算出し、ステアリング舵角センサ２４が省略された場合にはジャイロ２２によって絶対方位を算出する。

・上記実施形態では、制御部３は、ニュートラルスタートスイッチ２３から、シフトポジション信号ＳＰＰを入力するようにしたが、トランスミッションＥＣＵ等、その他の装置から入力するようにしてもよい。又は、制御部３が、車速パルスＶＰの波形のみに基づいて、後退しているか否かを判断するようにしてもよい。

・センサ制御部２５は、駐車支援装置１が備えるようにしてもよい。
・上記実施形態では、各ソナー２６に基づき、移動体を検出するようにしたが、カメラ３０から取得した画像データＧを画像処理して、移動体であるか否かを判断するようにしてもよい。

・上記実施形態では、カメラ３０は、車両Ｃの後方でなく、フロントバンパーの上方等、車両Ｃの前端に取り付けられてもよい。
・上記実施形態では、歪曲収差の補正だけでなく、太陽光や他車両のヘッドランプの光等が、カメラ３０のレンズに直接当たったときに生じるスミヤ現象、又は、高温・低温等の要因によるレンズの曇り等、画質が低下した際に、記録画像データＧ２を用いて現在俯瞰データＧ５の修正を行っても良い。重複する画素のいずれかを決める条件としては、画素の中心からの距離の大きさの他、各画素値の特性に基づき決定してもよい。例えば、輝度が周囲の画素の平均輝度に近い方の画素値を採用する等、補正処理に応じて変更してもよい。

・上記実施形態では、カメラ３０を車両Ｃに複数取り付けてもよい。そして、本実施形態では、現在俯瞰データＧ５と記録画像データＧ２の重複領域Ｚ３について現在俯瞰データＧ５の画素値と記録画像データＧ２の画素値のどちらを採用するか判断し、画像の補正を行うようにしたが、複数のカメラ３０によって撮像された複数の現在画像データに対して同様の処理を行うこともできる。例えば、二つの現在画像データに重複領域が存在する場合に、その重複領域において、上記実施形態と同様に、画素座標又は画素値の特性に基づき、いずれの現在画像データの画素値を採用するかを判断する。そして、採用した画素
値を用いて二つの現在画像データを合成した運転支援画像を生成及び表示するようにしてもよい。

本実施形態の駐車支援装置のブロック図。 （ａ）はソナーの位置、（ｂ）はカメラの位置の説明図。 （ａ）は現在画像データ、（ｂ）は現在俯瞰データの説明図。 記録画像データの説明図。 本実施形態の処理手順を説明する説明図。 本実施形態の処理手順を説明する説明図。 本実施形態の処理手順を説明する説明図。 現在モニタ画面の説明図。 現在俯瞰データの補正の説明図。 現在俯瞰データの補正の説明図。 駐車支援画面の説明図。 別例の駐車支援画面の説明図。 （ａ）は、現在俯瞰データのみの別例の駐車支援画面、（ｂ）は自車画像と現在俯瞰データとを含む別例の駐車支援画面の説明図。 俯瞰変換しない別例の駐車支援画面の説明図。 別例の現在俯瞰データの補正の説明図。 歪曲収差の説明図。

符号の説明

１…運転支援装置としての駐車支援装置、３…移動体検出手段としての制御部、９…画像データ取得手段としての画像データ入力部、１０…判定手段、第１画像処理手段、第２画像処理手段、出力制御手段、俯瞰変換手段としての画像プロセッサ、１１…画像データ記憶手段としての画像メモリ、２０…表示手段としてのディスプレイ、３０…撮像装置としてのカメラ、５０…運転支援画像としての駐車支援画面、Ｃ…車両、Ｃ２，Ｃ５…光軸位置としての中心、Ｇ…画像データ、Ｇ２…記録画像データ、Ｇ５…最新画像データとしての現在俯瞰データ、Ｇ６…運転支援画像データとしての駐車支援画像データ、Ｚ３…重複領域。

Claims (7)

1. 車両の運転操作を支援する運転支援方法において、
   前記車両に設けられた撮像装置から取得した二つの画像データの重複領域において、前記二つの画像データの画素値のいずれかを、それらの画素値が対応する画素位置又は前記画素値の特性に基づいて選択し、選択した前記画素値を用いた運転支援画像を表示手段に表示することを特徴とする運転支援方法。
2. 車両の運転操作を支援する運転支援方法において、
   前記車両に設けられた撮像装置から取得した画像データを、記録画像データとして画像データ記憶手段に記憶するとともに、
   前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを、それらの画素値が対応する画素位置に基づいて選択し、選択した画素値を用いて前記最新画像データを補正して、その最新画像データに基づいた運転支援画像を表示手段に表示することを特徴とする運転支援方法。
3. 車両に搭載された運転支援装置において、
   前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
   取得した画像データを、記録画像データとして記憶する画像データ記憶手段と、
   前記撮像装置から新たに取得した最新画像データと、前記記録画像データとの重複領域において、前記最新画像データの画素値と前記記録画像データの画素値のいずれかを選択する判定手段と、
   前記判定手段により選択された画素値を用いて前記最新画像データを補正する第１画像処理手段と、
   補正した前記最新画像データを用いて運転支援画像データを生成する第２画像処理手段と、
   前記運転支援画像データを表示手段に出力する出力制御手段と
   を備えたことを特徴とする運転支援装置。
4. 請求項３に記載の運転支援装置において、
   前記判定手段は、同じ画素座標に対応する前記最新画像データの画素値及び前記記録画像データの画素値のうち、前記撮像装置の光軸位置に近い画素位置の画素値を採用することを特徴とする運転支援装置。
5. 請求項３又は４に記載の運転支援装置において、
   前記撮像装置から取得した前記画像データを俯瞰変換した前記記録画像データを生成するとともに、前記最新画像データを俯瞰変換する俯瞰変換手段をさらに備えたことを特徴とする運転支援装置。
6. 請求項３〜５のいずれか１項に記載の運転支援装置において、
   前記第２画像処理手段は、補正した前記最新画像データと、現在の前記撮像装置の死角領域を撮像している前記記録画像データとを用いて、現在の前記撮像装置の死角領域を含む前記運転支援画像データを生成することを特徴とする運転支援装置。
7. 請求項３〜６のいずれか１項に記載の運転支援装置において、
   前記車両周辺の移動体を検出する移動体検出手段を備えるとともに、
   前記出力制御手段は、移動体が検出された際に、前記運転支援画像データに替わり、新たに前記撮像装置から取得した画像データを前記表示手段に出力することを特徴とする運転支援装置。

Images