JP2007266930A - 運転支援方法及び運転支援装置 - Google Patents

Abstract

【課題】車両状況又は路面状況によらず、良好な画質の駐車支援画像を表示することができる運転支援方法及び運転支援装置を提供する。
【解決手段】駐車支援ユニット２は、車両に設けられたカメラ３０の基準姿勢に対する傾きを検出し、カメラ３０から取得した画像データに対し、カメラ３０の傾きを補正する処理を行って合成データを生成し、合成データに基づく駐車支援画像をディスプレイ２２に出力する。
【選択図】図１

Description

本発明は、運転支援方法及び運転支援装置に関する。

従来より、安全運転を支援する装置として、車両周辺の背景画像をディスプレイに表示するナビゲーション装置が知られている。この装置は、車両後端に取り付けられた車載カメラから映像信号を入力し、その映像信号に基づく背景画像を運転席近傍に配設されたディスプレイに出力する。

また、最近、駐車操作時に、車載カメラから入力した画像データを蓄積し、蓄積した画像データを用いて画像処理を行い、車両周辺領域を俯瞰した俯瞰画像を表示する運転支援装置が提案されている（例えば、特許文献１参照）。ドライバーは、俯瞰画像を視認することによって、駐車目標領域に対する自車両の相対位置・相対方向を把握することができる。車両が操舵されたときには、車両の回転角度に合わせて、蓄積した画像データを回転変換する。
特開２００２−１２０６７５号公報

ところが、上記したような装置を車両に実装する際には、以下のような問題点が生じる。即ち、特許文献１では、車載カメラが常に適正な姿勢に保持されていることを前提としているが、実際には、車載カメラは常に適正な姿勢に保たれるとは限らない。例えば、左右又は前後の各タイヤの空気圧が異なると、各タイヤ高さの間に差が生じ、車体が車幅方向又は車長方向に傾く。その結果、車両に固定された車載カメラも、基準となる姿勢から傾いた状態になる。また、車両のタイヤが溝等に嵌った場合にも、同様に車載カメラの姿勢が傾斜する。車載カメラが、基準となる姿勢から傾いた状態になると、その可視範囲に変化が生じるので、傾斜した姿勢で撮像した画像データを用いて所定の画像処理を施すと、連続性等が良好でない画像が表示されてしまう。さらには、駐車目標領域に対する自車両の相対位置及び相対方向が判別し難い画像を表示してしまう問題がある。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、車両状況又は路面状況によらず、良好な画質の駐車支援画像を表示することができる運転支援方法及び運転支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両の運転操作を支援する運転支援方法において、前記車両に設けられた撮像装置の基準姿勢に対する傾きを検出し、前記撮像装置から取得した画像データを用いて、前記撮像装置の傾きに合わせた補正を行った運転支援画像データを生成し、前記運転支援画像データに基づく運転支援画像を表示手段に出力することを要旨とする。

請求項２に記載の発明は、車両に搭載された運転支援装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データ取得の際に、前記検出手段により検出された前記撮像装置の基準姿勢に対する傾きを検出する検出手段と、取得した前記画像データに対し、前記撮像装置の傾きに合わせた補正を行って、記録画像データを生成する補正手段と、前記記録画像データを記憶する画像データ記憶手段と、少なくとも蓄積した前記記録画像データを用いて、運転支援画像データを生成する
画像処理手段と、前記運転支援画像データを表示手段に出力する出力制御手段とを備えたことを要旨とする。

請求項３に記載の発明は、請求項２に記載の運転支援装置において、前記補正手段は、検出された前記撮像装置の傾きに応じて、前記画像データのトリミング領域を変更し、そのトリミング領域内の画像データを切出して前記記録画像データを生成し、前記画像処理手段は、前記記録画像データを連結させて、前記運転支援画像データを生成することを要旨とする。

請求項４に記載の発明は、請求項２に記載の運転支援装置において、前記補正手段は、前記画像データ記憶手段のメモリ領域のうち、検出された前記撮像装置の傾きに応じて、前記画像データを記憶する書込み領域を設定し、前記画像処理手段は、蓄積された前記記録画像データの一部を抽出し、前記運転支援画像データを生成することを要旨とする。

請求項５に記載の発明は、 請求項２〜４のいずれか１項に記載の運転支援装置において、前記検出手段は、前記車両の各車輪の空気圧を検出するセンサに基づいて、検出された空気圧から前記車輪の高さを取得するとともに、各車輪の高さの差分に基づき前記撮像位置の前記基準姿勢からの傾きを算出することを要旨とする。

請求項６に記載の発明は、請求項２〜５のいずれか１項に記載の運転支援装置において、前記画像処理手段は、前記撮像装置から取得した最新の画像データと、前記記録画像データとを用いて、前記運転支援画像データを生成することを要旨とする。

請求項７に記載の発明は、請求項２〜６のいずれか１項に記載の運転支援装置において、前記画像処理手段は、前記車両を上方から俯瞰した前記運転支援画像データを生成することを要旨とする。

請求項８に記載の発明は、車両に搭載された運転支援装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データ取得の際に、前記撮像装置の基準姿勢に対する傾きを検出する検出手段と、取得した前記画像データを、記録画像データとして記憶する画像データ記憶手段と、前記記録画像データのうち、前記撮像装置の傾きに応じた領域を用いて運転支援画像データを生成する画像処理手段と、前記運転支援画像データを表示手段に出力する出力制御手段とを備えたことを要旨とする。

請求項１に記載の発明によれば、撮像装置の基準姿勢に対する傾きに合わせて補正された運転支援画像データが生成されるので、パンク等の車両状況又は路面の凹凸等の路面状況によらず、良好な画質の運転支援画像を表示することができる。

請求項２に記載の発明によれば、記録画像データのうち、撮像装置の傾きに合わせた補正を行って、運転支援画像データを生成する。このため、パンク等により、撮像装置の姿勢が傾いていても、撮像装置が基準姿勢であるときと同じ状態で運転支援画像データを生成することができる。このため、パンク等の車両状況又は路面の凹凸等の路面状況によらず、良好な画質の運転支援画像を表示することができる。また、補正した記録画像データを予め蓄積するので、画像処理の際の補正が省略できる。

請求項３に記載の発明によれば、撮像装置の傾きに応じて、トリミング領域を変更する。そして、トリミングされた記録画像データを連結させて、運転支援画像データを生成する。このため、記録画像データを連続させる場合であっても、その記録画像データの撮像
時点の撮像装置の傾きが反映されているので、良好な画質の運転支援画像を表示することができる。

請求項４に記載の発明によれば、撮像装置の傾きに応じて、メモリ領域への書き込み領域を変更する。このため、記録画像データを書き込む際に、撮像時点の撮像装置の傾きを反映させることができるので、良好な画質の運転支援画像を表示することができる。

請求項５に記載の発明によれば、各車輪のセンサに基づき、車輪の空気圧を検出し、空気圧から車輪の高さを取得する。さらに車輪の高さの差分に基づき車体の傾きを検出する。このため、簡易な構成で、車体の傾きを検出することができる。

請求項６に記載の発明によれば、最新の画像データ及び記録画像データを用いた、運転支援画像が表示される。このため、現在の車両周辺状況を反映した画像を運転支援画像に含めることができる。

請求項７に記載の発明によれば、運転支援画像は、車両を上方から俯瞰した俯瞰画像である。このため、駐車目標領域と、現在の車両との相対位置及び相対方向を確認しやすい画像を表示することができる。

請求項８に記載の発明によれば、記録画像データのうち、撮像装置の傾きに応じた領域を用いて、運転支援画像データを生成する。このため、パンク等により、撮像装置の姿勢が傾いていても、撮像装置が基準姿勢であるときと同じ状態で運転支援画像データを生成することができる。このため、パンク等の車両状況又は路面の凹凸等の路面状況によらず、良好な画質の運転支援画像を表示することができる。また、補正した記録画像データを予め蓄積するので、画像処理の際の補正が省略できる。

以下、本発明を具体化した一実施形態を図１〜図１３に従って説明する。図１は、自動車に実装された駐車支援システム１の構成を説明するブロック図である。
図１に示すように、駐車支援システム１は、運転支援装置としての駐車支援ユニット２、各種画面を表示する表示手段としてのディスプレイ２２、警告音又は案内音声を出力するスピーカ２５、及び撮像装置としてのバックモニタカメラ（以下、単にカメラ３０という）を備えている。図２に示すように、カメラ３０は、車両Ｃのバックドア等、車両後端ＣＢに光軸を斜め下方に向けて取り付けられている。このカメラ３０は、カラー画像を撮像するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）とを備え、車両後方を撮像範囲Ｚとしている。

駐車支援ユニット２の検出手段を構成する制御部１０は、図示しないコンピュータを備え、ＲＯＭ１２に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ１１は、制御部１０の演算結果を一時記憶するとともに、駐車支援のための各種変数及びフラグ等を記憶している。また、車両Ｃ（図２参照）に取り付けられたタイヤの種類を示す識別コード１１ａ等が記憶されている。

ＲＯＭ１２には、運転支援プログラムの他、駐車支援システム１が搭載された車両Ｃをディスプレイ２２に描画するための車両画像データ２６が格納されている。この車両画像データ２６は、車両Ｃを鉛直方向上方から俯瞰した画像を表示するためのデータである。

さらに、ＲＯＭ１２には、車両設計データ２７及びタイヤ高データ２８が記憶されている。車両設計データ２７には、左後輪ＬＲと右後輪ＲＲとの間の車幅方向の車輪中心間距離Ｌ１（図４参照）、前輪Ｆと後輪Ｒとの間の車輪中心間距離Ｌ２（図５参照）、カメラ
３０の路面からの高さ等、車両Ｃに関する固定データが記憶されている。

図３に示すように、タイヤ高データ２８は、タイヤの種類毎に生成及び記憶されている。各タイヤ高データ２８は、タイヤ空気圧２８ｉと、そのタイヤ空気圧２８ｉでのタイヤ高さ２８ｊとを有している。図５に示すように、本実施形態では、タイヤ高さ２８ｊは、タイヤ表面からホイールまでのタイヤの高さＨ１，Ｈ３を示している。

また、駐車支援ユニット２は、ＧＰＳ受信部１３を備えている。制御部１０は、ＧＰＳ受信部１３が受信したＧＰＳ衛星からの信号に基づき、電波航法によって、駐車支援システム１が搭載された車両Ｃの絶対座標を算出する。

さらに、駐車支援ユニット２は、検出手段を構成する車両側インターフェース部（車両側Ｉ／Ｆ部１５）を備えている。制御部１０は、この車両側Ｉ／Ｆ部１５を介して、車両Ｃに設けられた車速センサ３１及びジャイロ３２から、車速パルスＶＰ及び方位検出信号ＧＲＰを入力する。制御部１０は、車速パルスＶＰの入力パルス数により、基準位置からの車両Ｃの移動量を算出する。さらに、制御部１０は、入力した方位検出信号ＧＲＰに基づき、メインメモリ４に記憶された変数である現在方位を更新する。

さらに、制御部１０は、車両側Ｉ／Ｆ部１５を介して、ステアリング舵角センサ３３から、ステアリングセンサ信号ＳＴＰを入力する。制御部１０は、このステアリングセンサ信号ＳＴＰに基づき、メインメモリ１１に格納された車両Ｃの現在舵角を更新する。また、制御部１０は、車両側Ｉ／Ｆ部１５を介して、車両Ｃのニュートラルスタートスイッチ３４から、シフトポジション信号ＳＰＰを入力し、メインメモリ４に格納された変数であるシフトポジションを更新する。

また、制御部１０は、車両側Ｉ／Ｆ部１５を介して、第１〜第４空気圧センサ３５〜３８から検出信号ＤＰを入力する。第１〜第４空気圧センサ３５〜３８は、車両Ｃの各車輪内に装着された空気圧センサであって、車輪（タイヤ）内の空気圧を直接検知する。第１空気圧センサ３５は、図５（ａ）に示すように左前輪ＬＦに装着されている。第２空気圧センサ３６は、右前輪（図示略）に装着されている。第３及び第４空気圧センサ３７，３８は、図４に示すように、左後輪ＬＲ及び右後輪ＲＲにそれぞれ装着されている。制御部１０は、第１〜第４空気圧センサ３５〜３８から入力した検出信号ＤＰに基づき各車輪のタイヤ空気圧を取得し、各タイヤ空気圧とタイヤ高データ２８とに基づき、タイヤ高さ２８ｊを取得する。

例えば、図４に示すように、左後輪ＬＲのタイヤ高さＨ３よりも、右後輪ＲＲのタイヤ高さＨ４が低くなっていたとき、制御部１０は第３及び第４空気圧センサ３７，３８及びタイヤ高データ２８に基づき、左後輪ＬＲ及び右後輪ＲＲの高さに差があることを検出する。そして、車両設計データ２７内の車輪中心間距離Ｌ１と、タイヤ高さ２８ｊとの差分（Ｈ３−Ｈ４）に基づき、車体の車幅方向の傾きθ１を算出する。このように車幅方向（又は水平方向、図４中Ｙ矢印方向）に車体が傾いているとき、車両後端ＣＢに取り付けられたカメラ３０も、基準姿勢に対して傾きθ１だけ傾いた姿勢になる。尚、基準姿勢とは、車両Ｃが車幅方向及び車長方向において水平な状態であるとき（傾いていないとき）のカメラ３０の位置（姿勢）をいう。カメラ３０が基準姿勢から傾いているとき、駐車支援ユニット２が備える補正手段、画像処理手段及び出力制御手段としての画像プロセッサ２０は、カメラ３０の撮像した画像データＧに対し、車体傾斜時のための処理を施して、駐車支援のための画像処理を行う。

また、図５（ｂ）に示すように、左前輪ＬＦの高さＨ１が、左後輪ＬＲの高さＨ２よりも低く、車体が前傾しているとき、制御部１０は、第１及び第３空気圧センサ３５，３７
に基づき、車長方向（又は車両前後軸に平行な方向、図５中Ｘ矢印方向）の車体の傾きθ２を取得する。図５（ｂ）のように車体が前傾すると、カメラ３０の撮像範囲Ｚは、車両Ｃの後退方向にずれるため、画像プロセッサ２０は、前傾状態でカメラ３０が撮像した画像データＧに対し、前傾状態のための処理を施す。

同様に、図５（ｃ）に示すように、左後輪ＬＲの高さＨ３が低いとき、車体が後傾し、カメラ３０の撮像範囲Ｚは、車両Ｃの後端ＣＢ側にずれる。このとき制御部１０は、取得したタイヤ高さ２８ｊと、車輪中心間距離Ｌ２とに基づいて、車長方向の傾きθ２を取得する。そして、画像プロセッサ２０は、その傾きθ２に基づき、後傾状態のための処理を施して、駐車支援のための画像処理を行う。

また、図１に示すように、駐車支援ユニット２は、画像データ取得手段としての画像データ入力部１６を備えている。画像データ入力部１６は、制御部１０の主制御により、カメラ３０を駆動制御し、画像データＧを入力する。

駐車操作時等、車両Ｃが後退を始めると、制御部１０は、画像データ入力部１６を介して、カメラ３０から、図６（ａ）に模式的に示すような画像データＧを所定の間隔でキャプチャする。画像プロセッサ２０は、キャプチャした画像データＧのうち、車体の傾きθ１，θ２に応じて位置が設定されるトリミング領域４２を抽出し、トリミングデータＧ１を生成する。

さらに、画像プロセッサ２０は、図８に示すように、生成したトリミングデータＧ１を公知の方法で俯瞰変換する。これにより、車両Ｃの後方周辺を鉛直方向上方に設定された視点から俯瞰した記録画像データＧ２が生成される。この俯瞰変換により、例えば、駐車目標領域を区画した白線等のような画像の歪みが緩和される。

記録画像データＧ２を生成すると、画像プロセッサ２０は、制御部１０を介して、車両Ｃの現在位置及び舵角を取得する。そして、図９に示すように、これらのデータを座標データ４３及び舵角データ４４からなる位置データ４５として、記録画像データＧ２に関連付けて、駐車支援ユニット２が備える画像データ記憶手段としての画像メモリ１７（図１参照）に記憶する。尚、座標データ４３及び舵角データ４４は、図８のように記録画像データＧ２に添付されても良いし、座標データ４３及び舵角データ４４からなるマップと、記録画像データＧ２をヘッダ等により紐付けしてもよい。

また、車両Ｃが後退する際、画像プロセッサ２０は、記録画像データＧ２を蓄積する処理と並行して、駐車支援画面を生成する処理を行う。この処理では、カメラ３０から、最新の画像データＧ（以下、現在画像データＧ４という）を取得し、現在画像データＧ４と、現在のカメラ３０の死角領域を撮像している各記録画像データＧ２とを連続させて、合成データを生成する。そして、合成データを、所定のタイミングでディスプレイ２２に出力する。

各種画像が表示されるディスプレイ２２は、タッチパネルであって、このタッチパネルや、ディスプレイ２２に隣設された操作スイッチ２９（図１参照）がユーザにより入力操作されると、駐車支援ユニット２が備える外部入力インターフェース部（以下、外部入力Ｉ／Ｆ部２３という）が、入力操作に応じた入力信号を制御部１０に対して出力する。車両Ｃが出荷されるとき、メインメモリ１１には、予め車両Ｃのタイヤの種類が記憶されているが、ユーザによって車両Ｃのタイヤが交換されたとき、タッチパネル操作等により、メインメモリ１１に記憶されたタイヤ種類を示す識別コード１１ａが呼び出され、各メーカのタイヤの種類がディスプレイ２２に表示される。ユーザは、表示されたタイヤ種類から該当するタイヤ種類を選択し、登録操作する。これにより、制御部１０は、選択された
タイヤ種類の識別コード１１ａをメインメモリ１１に記憶する。

また、図１に示すように、駐車支援ユニット２は、音声プロセッサ２４を備えている。音声プロセッサ２４は、音声ファイルを格納した図示しないメモリやデジタル／アナログ変換器等を備え、その音声ファイルを使用して、駐車支援システム１が具備するスピーカ２５から案内音声や警告音を出力する。

次に、本実施形態の処理手順について、図１０及び図１１に従って説明する。まず、制御部１０は、車両Ｃのイグニッションモジュール（図示略）からオン信号を入力すると、画像メモリ１７のクリア等、システムの初期化を行う（ステップＳ１−１）。そして、開始トリガの入力を待つ（ステップＳ１−２）。本実施形態では、開始トリガは、ニュートラルスタートスイッチ３４から出力された、リバースを示すシフトポジション信号ＳＰＰである。

車両Ｃが後退することによって開始トリガを入力すると、制御部１０は、画像をキャプチャするタイミングであるか否かを判断する（ステップＳ１−３）。本実施形態では、制御部１０は、車速パルスＶＰに基づき、車両Ｃが例えば数百ｍｍ等、所定距離だけ後退する度にカメラ３０から画像データＧを入力する。このとき、制御部１０は、メインメモリ１１に記憶したパルスカウンタに、初期位置からの入力パルス数を累積し、そのカウンタ値が所定数に到達すると、画像をキャプチャするタイミングであると判断する。

画像をキャプチャするタイミングであると判断すると（ステップＳ１−３においてＹＥＳ）、制御部１０は、画像データ入力部１６を介してカメラ３０を制御し、画像データＧを入力する（ステップＳ１−４）。さらに、ＲＯＭ１２に記憶された車両設計データ２７を読み込む（ステップＳ１−５）。

また、制御部１０は、第１〜第４空気圧センサ３５〜３８から、検出信号ＤＰを入力し、各車輪のタイヤ空気圧２８ｉを取得する（ステップＳ１−６）。そして、取得した各タイヤ空気圧２８ｉと、タイヤ高データ２８とに基づき、各車輪のタイヤ高さ２８ｊを取得する（ステップＳ１−７）。そして、取得した各タイヤ高さ２８ｊと、読み込んだ車両設計データ２７とに基づいて、上記したように、車幅方向及び車長方向の傾きθ１，θ２を算出する（ステップＳ１−８）。このとき、車体の傾きがない場合には、θ１，θ２は「０」に設定される。

そして、算出した車幅方向及び車長方向の傾きθ１，θ２に基づき、入力した画像データＧのうち、トリミング領域４２を決定する（ステップＳ１−９）。このとき、画像プロセッサ２０は、画像データＧのうち、例えば車両Ｃの後端ＣＢから１ｍ〜１ｍ数百ｍｍの路面に相当し、且つ車幅に平行な帯状の領域をトリミング領域４２とする。

例えば、車両Ｃの左側が傾いているとき、その傾きθ１に基づき、図６（ｂ）に示すようにトリミング領域４２を同じ方向（図中右側）に傾斜させる。本実施形態では、同じ傾きθ１だけ傾ける。尚、図６（ａ）〜（ｃ）に示す画像４０では、カメラ３０が撮像した画像データＧを左右反転させずに表示している。即ち、車両Ｃの左側は、画像４０の右側に相当する。

また、図４に示すように車両Ｃの右側が傾いているとき、画像プロセッサ２０は、図６（ｃ）に示すように、トリミング領域４２を傾斜方向に合わせて図中左側に傾斜させる。さらに、図５（ｂ）に示すように車体が前傾しているとき、カメラ３０の撮像範囲Ｚは、車両Ｃの後退方向にずれるため、図７（ａ）に示すように、トリミング領域４２は、通常のトリミング領域４２よりも下方（車両Ｃの後退方向に相当する方向と反対側）に設定す
る。

また、図５（ｃ）に示すように、車体が後傾しているとき、カメラ３０の撮像範囲Ｚは、車両Ｃの後端ＣＢ側にずれる。このため、図７（ｂ）に示すように、画像プロセッサ２０は、トリミング領域４２を通常のトリミング領域４２よりも上方（車両Ｃの後退方向に相当する方向）に移動させる。

トリミング領域４２を設定すると、画像プロセッサ２０は、そのトリミング領域４２内の画像データＧをトリミングし、トリミングデータＧ１を生成する（ステップＳ１−１０）。また、トリミングデータＧ１を、図８に示すように俯瞰変換して、記録画像データＧ２を生成する（ステップＳ１−１１）。そして、制御部１０から、座標データ４３と舵角データ４４とを取得して、位置データ４５として記録画像データＧ２と関連付けて、画像メモリ１７に記憶する（ステップＳ１−１２）。さらに、メインメモリ１１のパルスカウンタのカウンタ値をリセットし、初期値に戻す（ステップＳ１−１３）。

このようにして、記録画像データＧ２を画像メモリ１７に蓄積すると、制御部１０は、終了トリガを入力したか否かを判断する（ステップＳ１−１４）。終了トリガは、本実施形態では、リバース以外のシフトポジションを示すシフトポジション信号ＳＰＰである。終了トリガを入力したと判断すると（ステップＳ１−１４においてＹＥＳ）、そのまま処理を終了する。終了トリガを入力していない場合には（ステップＳ１−１４においてＮＯ）、ステップＳ１−３に戻る。そして上記した処理を繰り返すことにより、所定距離毎に生成された記録画像データＧ２が画像メモリ１７に蓄積される。

次に、駐車支援画像の合成処理について、図１１に従って説明する。合成処理では、制御部１０がステップＳ１−２と同じように開始トリガを入力すると（ステップＳ２−１においてＹＥＳ）、画像メモリ１７に駐車支援画像を生成するために必要な記録画像データＧ２が蓄積されているか否かを判断する（ステップＳ２−２）。例えば、このとき、制御部１０は車両Ｃの現在位置を取得し、進行方向において現在位置から後方で撮像された記録画像データＧ２が所定数蓄積されているか否かを判断する。

必要な記録画像データＧ２が蓄積されていると判断すると（ステップＳ２−２においてＹＥＳ）、制御部１０は、画像データ入力部１６を介してカメラ３０から最新の画像データＧ（現在画像データＧ４）を取得する（ステップＳ２−３）。

そして、画像プロセッサ２０は、取得した現在画像データＧ４を俯瞰変換し、現在俯瞰データＧ５を生成する（ステップＳ２−４）。現在俯瞰データＧ５を生成すると、画像プロセッサ２０は、進行方向（後退方向）において、車両Ｃの現在位置よりも後方で撮像された所定数の記録画像データＧ２を画像メモリ１７から読み出す（ステップＳ２−５）。さらに、現在俯瞰データＧ５と、読み出した記録画像データＧ２とを車両Ｃの後退方向に相当する方向に連結させ、図１２に模式的に示すような運転支援画像データとしての合成データＧ６を生成する（ステップＳ２−６）。

そして、画像プロセッサ２０は、合成データＧ６をＶＲＡＭ２１に一時記憶し、ディスプレイ２２に所定のタイミングで出力する（ステップＳ２−７）。その結果、図１２に示すような運転支援画像としての駐車支援画像５０がディスプレイ２２に表示される。駐車支援画像５０は、各記録画像データＧ２に基づく各記録画像５１が、画像上側（反ｘ矢印方向）に配置され、現在俯瞰データＧ５に基づく現在俯瞰画像５２が、画面下側（ｘ矢印方向）に配置されている。各記録画像５１は、現在のカメラ３０の死角となっている、車両Ｃのリヤ部周辺の領域を表示している。

また、画像プロセッサ２０は、車両画像５３とガイド線５５とを描画する（ステップＳ２−８）。車両画像５３は、ＲＯＭ１２に記憶された車両画像データ２６に基づき、記録画像５１の表示された領域のうち、車両Ｃの現在位置に相当する位置に重畳される。また、ガイド線５５は、ステアリング舵角センサ３３から取得したステアリングセンサ信号ＳＴＰに基づき、車両Ｃの軌跡を予測した予想軌跡線５７と、車両Ｃの後端ＣＢから所定距離（例えば０．８ｍ）後方を示す目安線５６とからなる。

このように、車体の傾きθ１，θ２に応じてトリミング領域４２を決めているので、記録画像５１と車両画像５３との相対位置及び相対方向を、実際の相対位置及び相対方向とほぼ同じにすることができる。このため、パンク等の各車輪の空気圧の低下が生じたとき、車両Ｃの積荷が重いとき等、通常の車両状況でないときや、路面の溝に車輪が嵌ったとき、障害物に乗り上げたとき等、路面状況が悪いときにも、良好な画質の駐車支援画像５０を表示できる。さらに、パンク等により、タイヤの空気が徐々に低下して、駐車操作中に車体の傾きθ１，θ２が次第に大きくなっても、記録画像データＧ２を生成する際に、生成する際の車体の傾きθ１，θ２を反映させるので、各記録画像５１の連続性を良好にすることができる。

車両画像５３とガイド線５５とを描画すると、制御部１０は終了トリガを入力したか否かを判断する（ステップＳ２−９）。終了トリガを入力したと判断した場合には（ステップＳ２−９においてＹＥＳ）、記録画像データＧ２の蓄積処理と同様に、合成処理を終了する。終了トリガを入力していないと判断すると（ステップＳ２−９においてＮＯ）、ステップＳ２−２に戻る。

このようにして、車両Ｃが所定距離分後退する度に記録画像データＧ２が蓄積され、ディスプレイ２２に表示された駐車支援画像５０は逐次更新される。そして、終了トリガを入力したと判断すると（ステップＳ１−１４，ステップＳ２−９においてＹＥＳ）、記録画像データＧ２の蓄積処理を終了するとともに、駐車支援画像５０を消去して、合成処理を終了する。

また、このとき画像プロセッサ２０は、画像メモリ１７に蓄積された各記録画像データＧ２を連続させて、図１３に示すような全体俯瞰画像６０を表示する。全体俯瞰画像６０は、車体全体を含む駐車領域を俯瞰した合成画像であって、そのときの車両Ｃの位置に応じた位置に車両画像５３が重畳されている。上記したように、車体の傾きθ１，θ２に応じてトリミング領域４２を変更することで、全体俯瞰画像６０の連続性も良好になっている。

全体俯瞰画像６０を表示した後、イグニッションモジュールのオフ信号を入力すると、全体俯瞰画像６０を消去し、全体の処理を終了する。
上記実施形態によれば、以下のような効果を得ることができる。

（１）上記実施形態では、駐車支援ユニット２は、車両Ｃに設けられたカメラ３０から画像データＧを取得する際、第１〜第４空気圧センサ３５〜３８に基づき、各車輪の空気圧を示す検出信号ＤＰを入力するようにした。また、検出信号ＤＰに基づき、各車輪のタイヤ空気圧２８ｉを取得し、予め記憶したタイヤ高データ２８に基づき、そのタイヤ空気圧２８ｉからタイヤ高さ２８ｊを求めるようにした。さらに、各車輪のタイヤ高さ２８ｊから、車体の傾きθ１，θ２を算出するようにした。そして、車両Ｃが傾いている場合には、その傾きθ１，θ２に合わせて、画像データＧのトリミング領域４２を傾斜又は移動させ、トリミングデータＧ１を生成するようにした。また、トリミングデータＧ１を俯瞰変換した記録画像データＧ２を画像メモリ１７に蓄積するようにした。そして、蓄積した記録画像データＧ２と現在画像データＧ４とを用いた駐車支援画像５０をディスプレイ２
２に表示するようにした。このため、パンク等により、カメラ３０の姿勢が傾いていても、カメラ３０が基準姿勢であるときに撮像された記録画像データＧ２と同じ状態で記録画像データＧ２を生成することができる。このため、パンク等の車両状況又は路面の凹凸等の路面状況によらず、良好な画質の駐車支援画像５０を表示することができる。また、記録画像データＧ２は、合成前に予め補正することで、画像処理の際の補正が省略できる。

（２）上記実施形態では、制御部１０は、各車輪に設けられた第１〜第４空気圧センサ３５〜３８及びタイヤ高データ２８に基づき、各タイヤ高さ２８ｊを取得し、それらのタイヤ高さ２８ｊに基づき車体の傾きθ１，θ２を求めるようにした。このため、比較的簡易な構成で、車体の傾きθ１，θ２を検出することができる。このため、タイヤ空気圧２８ｉを検出するセンサを有効利用することができる。

（３）上記実施形態では、記録画像データＧ２と現在画像データＧ４とを連続させて、車両Ｃの現在位置周辺を俯瞰した駐車支援画像５０を表示するようにした。このため、現在画像データＧ４に基づく現在俯瞰画像５２により、現在の車両周辺状況を反映した画像を表示することができる。また、俯瞰画像にすることにより、駐車目標領域と、現在の車両Ｃとの相対位置及び相対方向を確認しやすい画像を表示することができる。

尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、舵角データ４４を記録画像データＧ２と関連付けるようにしたが、絶対方位や相対方位でも良い。

・上記実施形態では、ガイド線５５は、目安線５６、予想軌跡線５７を有するとしたが、いずれか一つでもよい。また、その他のガイド線を表示してもよい。さらには、ガイド線５５を駐車支援画像５０上に描画しなくてもよい。

・上記実施形態では、タイヤ内に設けられた圧力センサにより直接空気圧を測定する直接検知式を用いたが、車速センサを利用して、各タイヤの回転速度差から空気圧差を検出する間接検知式を用いてもよい。

・上記実施形態では、第１〜第４空気圧センサ３５〜３８を用いて傾きθ１，θ２を取得するようにしたが、車両Ｃの後輪Ｒの直上や、前端、側端等に設けたレーダを用いてもよい。レーダは、例えば、ミリ波・超音波を路面に対して発信し、反射波を受信するまでの経過時間に基づき、路面の凹凸を検出する。又は、後端ＣＢに取り付けられたカメラ３０や他の位置に取り付けられたカメラから入力した画像データＧを画像処理して、路面の溝や段差等を検出するようにしてもよい。また、その他のセンサを用いてもよい。さらには、カメラ３０自体又はカメラ３０周辺に取り付けられた傾斜センサ（加速度センサ）を用いて、カメラ３０の基準姿勢からの傾きを検出するようにしてもよい。

・上記実施形態では、画像データＧのうち、トリミング領域４２を抽出したトリミングデータＧ１を生成し、そのトリミングデータＧ１を俯瞰変換するようにしたが、画像データＧを俯瞰変換した後、所定の領域を抽出してもよい。

・上記実施形態では、駐車支援画像５０を表示した後に、全体俯瞰画像６０を表示するようにしたが、全体俯瞰画像６０を表示しなくてもよい。
・上記実施形態では、画像データＧのうち、車体の傾きθ１，θ２に応じて設定したトリミング領域４２を切出して記録画像データＧ２を生成するようにしたが、取得した画像データＧをトリミングせず、図１４に示すように、画像データＧを、合成用メモリ領域７０のうち、舵角及び位置に応じた座標（書込み領域）に上書きして記憶するようにしてもよい。この場合、画像データＧのうち重複する領域は、より新しい画像データＧによって
上書きされる。このとき、トリミング領域４２を変更するのではなく、車体の傾きθ１，θ２に応じてカメラ３０が撮像した領域を算出し、その領域に応じた画素座標に画像データＧを上書きすればよい。

・上記実施形態では、記録画像データＧ２及び現在画像データＧ４を用いて合成データＧ６を生成するようにしたが、記録画像データＧ２のみを用いて駐車支援画像を表示するようにしてもよい。また、複数の記録画像データＧ２と、俯瞰変換した現在画像データＧ４とを連続させて合成データＧ６を生成するようにしたが、運転席や、後輪の車軸付近に視点を設定した合成データＧ６を生成する等、上記実施形態以外の合成方法でもよい。

・上記実施形態では、トリミングデータＧ１及び現在画像データＧ４を俯瞰変換するようにしたが、俯瞰変換しないトリミングデータＧ１及び現在画像データＧ４を用いて、駐車支援画像を生成するようにしてもよい。この場合、俯瞰画像は表示されないが、現在のカメラ３０の死角を表示した画像を表示することができるので、ドライバーは、駐車目標領域と車両との相対位置を把握することができる。

・上記実施形態では、複数の記録画像データＧ２と、俯瞰変換した現在画像データＧ４とを連続させて合成データＧ６を生成するようにしたが、運転席や、後輪の車軸付近に視点を設定した合成データＧ６を生成する等、これ以外の合成方法でもよい。

・上記実施形態では、車体の傾きθ１，θ２に応じて記録画像データＧ２を生成するようにしたが、所定距離毎に取得した画像データＧを、その撮像時の車体の傾きθ１，θ２と関連付けて画像メモリ１７に蓄積し、合成の際に、各画像データＧに関連付けられた傾きθ１，θ２に応じて、合成データＧ６に用いるデータを生成するようにしてもよい。

・上記実施形態では、所定距離毎に記録画像データＧ２を生成したが、所定時間毎に記録画像データＧ２を生成し、画像メモリ１７に蓄積するようにしてもよい。この場合にも、記録画像データＧ２には、撮像位置を示すデータを関連付ける。

・上記実施形態では、カメラ３０は車両Ｃの後端ＣＢに取り付けたが、前端又は側端等、他の部分に取り付けるようにしてもよい。この場合、車両Ｃの後退時以外に、駐車支援画像を表示するようにしてもよい。さらには、駐車時以外の運転操作を支援する画像を表示するようにしてもよい。また、車両Ｃに取り付けられた複数のカメラを用いて、駐車支援画像を生成するようにしてもよい。

本実施形態の駐車支援システムのブロック図。 駐車支援システムを搭載した車両の平面図。 タイヤ高データの説明図。 同車両をリヤ部からみた側面図。 （ａ）は傾きのない状態、（ｂ）は前傾状態、（ｃ）は後傾状態の車両を説明する説明図。 （ａ）は傾きのない状態、（ｂ）は車体左側が傾いた状態、（ｃ）は車体右側が傾いた状態でキャプチャされた画像を説明する説明図。 （ａ）は前傾状態、（ｂ）は後傾状態でキャプチャされた画像を説明する説明図。 俯瞰変換の説明図。 記録画像データの説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 駐車支援画像の説明図。 全体俯瞰画像の説明図。 別例の記録画像データの書き込みの説明図。

符号の説明

１…駐車支援システム、２…運転支援装置としての駐車支援ユニット、１０…検出手段を構成する制御部、１５…検出手段を構成する車両側Ｉ／Ｆ部、１６…画像データ取得手段としての画像データ入力部、１７…画像データ記憶手段としての画像メモリ、２０…補正手段、画像処理手段及び出力制御手段としての画像プロセッサ、２２…表示手段としてのディスプレイ、３０…撮像装置としてのカメラ、３５〜３８…第１〜第５空気圧センサ、４２…トリミング領域、５０…運転支援画像としての駐車支援画像、Ｃ…車両、Ｇ…画像データ、Ｇ２…記録画像データ、Ｇ６…運転支援画像データとしての合成データ、ＬＦ…車輪としての左前輪、ＦＲ…車輪としての右前輪、Ｈ１，Ｈ２，Ｈ３…高さ、ＬＲ…車輪としての左後輪、ＲＲ…車輪としての右後輪、θ１，θ２…傾き。

Claims (8)

1. 車両の運転操作を支援する運転支援方法において、
   前記車両に設けられた撮像装置の基準姿勢に対する傾きを検出し、
   前記撮像装置から取得した画像データを用いて、前記撮像装置の傾きに合わせた補正を行った運転支援画像データを生成し、前記運転支援画像データに基づく運転支援画像を表示手段に出力することを特徴とする運転支援方法。
2. 車両に搭載された運転支援装置において、
   前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
   前記画像データ取得の際に、前記撮像装置の基準姿勢に対する傾きを検出する検出手段と、
   取得した前記画像データに対し、前記検出手段により検出された前記撮像装置の傾きに合わせた補正を行って、記録画像データを生成する補正手段と、
   前記記録画像データを記憶する画像データ記憶手段と、
   少なくとも蓄積した前記記録画像データを用いて、運転支援画像データを生成する画像処理手段と、
   前記運転支援画像データを表示手段に出力する出力制御手段と
   を備えたことを特徴とする運転支援装置。
3. 請求項２に記載の運転支援装置において、
   前記補正手段は、検出された前記撮像装置の傾きに応じて、前記画像データのトリミング領域を変更し、そのトリミング領域内の画像データを切出して前記記録画像データを生成し、
   前記画像処理手段は、前記記録画像データを連結させて、前記運転支援画像データを生成することを特徴とする運転支援装置。
4. 請求項２に記載の運転支援装置において、
   前記補正手段は、前記画像データ記憶手段のメモリ領域のうち、検出された前記撮像装置の傾きに応じて、前記画像データを記憶する書込み領域を設定し、
   前記画像処理手段は、蓄積された前記記録画像データの一部を抽出し、前記運転支援画像データを生成することを特徴とする運転支援装置。
5. 請求項２〜４のいずれか１項に記載の運転支援装置において、
   前記検出手段は、前記車両の各車輪の空気圧を検出するセンサに基づいて、検出された空気圧から前記車輪の高さを取得するとともに、各車輪の高さの差分に基づき前記撮像位置の前記基準姿勢からの傾きを算出することを特徴とする運転支援装置。
6. 請求項２〜５のいずれか１項に記載の運転支援装置において、
   前記画像処理手段は、前記撮像装置から取得した最新の画像データと、前記記録画像データとを用いて、前記運転支援画像データを生成することを特徴とする運転支援装置。
7. 請求項２〜６のいずれか１項に記載の運転支援装置において、
   前記画像処理手段は、前記車両を上方から俯瞰した前記運転支援画像データを生成することを特徴とする運転支援装置。
8. 車両に搭載された運転支援装置において、
   前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
   前記画像データ取得の際に、前記撮像装置の基準姿勢に対する傾きを検出する検出手段と、
   取得した前記画像データを、記録画像データとして記憶する画像データ記憶手段と、
   前記記録画像データのうち、前記撮像装置の傾きに応じた領域を用いて運転支援画像データを生成する画像処理手段と、
   前記運転支援画像データを表示手段に出力する出力制御手段と
   を備えたことを特徴とする運転支援装置。

Images