JP2012066614A - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
JP2012066614A
JP2012066614A JP2010210818A JP2010210818A JP2012066614A JP 2012066614 A JP2012066614 A JP 2012066614A JP 2010210818 A JP2010210818 A JP 2010210818A JP 2010210818 A JP2010210818 A JP 2010210818A JP 2012066614 A JP2012066614 A JP 2012066614A
Authority
JP
Japan
Prior art keywords
parking
image
virtual
dimensional object
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010210818A
Other languages
English (en)
Other versions
JP5618139B2 (ja
Inventor
Tetsuya Maruoka
哲也 丸岡
Masao Fukaya
昌央 深谷
Noboru Nagamine
昇 長嶺
Atsushi Kadowaki
淳 門脇
Masaru Tanaka
優 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2010210818A priority Critical patent/JP5618139B2/ja
Publication of JP2012066614A publication Critical patent/JP2012066614A/ja
Application granted granted Critical
Publication of JP5618139B2 publication Critical patent/JP5618139B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】運転者にとって駐車目標に対する案内効果をもつような仮想立体物が撮影画像とともにモニタ表示される。
【解決手段】自車進行方向の周辺領域撮影画像を斜め上方からの仮想視点に基づいて視点変換することで周辺俯瞰画像を生成する周辺俯瞰画像生成部と、駐車領域の境界を算定する駐車領域境界算定部と駐車案内用仮想立体物の形態を選択する仮想立体物選択部と、駐車領域の境界に沿って配置された仮想立体物の斜め上方の仮想視点に基づく立体物俯瞰画像を生成する立体物俯瞰画像を生成する立体物俯瞰画像生成部と、周辺俯瞰画像と前記立体物俯瞰画像とを合成してモニタ表示画像として出力する画像合成部とを備えた駐車支援装置。
【選択図】図1

Description

本発明は、自車の進行方向の周辺領域を撮影する車載カメラによって取得された撮影画像をモニタ表示する駐車支援装置に関する。
上記のように構成された駐車支援装置として特許文献1には、カメラで撮影された撮影画像から検出された駐車可能区画から、自車の目標とするとしての駐車領域を設定し、演算された駐車経路に沿った駐車領域までの駐車走行を支援する装置が開示されている。この駐車支援において、駐車走行方向の撮影画像をモニタ表示されるが、その撮影画像に駐車領域を示す枠を重畳させることができる。しかしながら、この駐車支援装置におけるモニタ画面では目標となる駐車領域が枠線の形で表示されるとしても、路面上に線として描かれたイメージであり、特に撮影画像が視点によっては、駐車領域の空間的な広がりが把握しづらく、運転者にとって適切な駐車目標となるものではない。
また、特許文献2には、自車の進行方向を撮影する車載カメラと、その車載カメラによって取得された進行方向画像を表示する表示器とを備えた駐車支援装置が開示されている。この装置は、自車に対する駐車区画の相対位置を検出する駐車区画位置検出手段と、その駐車区画位置検出手段が検出した駐車区画の相対位置に基づいて定まる前記進行方向画像上の位置に、実座標を固定した仮想立体物を、自車の走行中に継続的に表示する仮想立体物表示制御手段とを含む。このような仮想立体物を表示することで表示器に表示される仮想立体物とその仮想立体物の背景との、車両位置の移動にともなって生じる運動視差は人間が奥行きを感じることができる指標となることから、距離感が把握しやすいという利点がある。しかしながら、この特許文献2による駐車支援装置では、仮想立体物が駐車経路周辺の定点に配置されるが、そのように配置された仮想立体物では、表示される撮影画像の視点と自車位置によってはその表示画像における仮想立体物の確認が困難となり、駐車目標としては不適切となってしまう可能性がある。
特開2008‐284969号公報(段落番号〔0050−0071〕、図17) 特開2010‐163103号公報(段落番号〔0006−0007〕、図7)
上記従来技術の実情から、運転者にとって駐車目標に対する案内効果をもつような仮想立体物が撮影画像とともにモニタ表示されるような駐車支援装置が所望されている。
自車の進行方向の周辺領域を撮影する車載カメラによって取得された撮影画像をモニタ表示する駐車支援装置における本発明の特徴は、前記撮影画像を斜め上方の第1の仮想視点に基づいて視点変換することで周辺俯瞰画像を生成する周辺俯瞰画像生成部と、自車を駐車させる駐車領域の境界を算定する駐車領域境界算定部と、駐車案内用仮想立体物の形態を選択する仮想立体物選択部と、斜め上方の第2の仮想視点に基づく前記駐車領域の境界に沿って配置された前記選択された仮想立体物の立体物俯瞰画像を生成する立体物俯瞰画像を生成する立体物俯瞰画像生成部と、前記周辺俯瞰画像と前記立体物俯瞰画像とを合成してモニタ表示画像として出力する画像合成部とを備えている点にある。
この構成では、まず、自車を駐車させる最終的な目標位置としての駐車領域の境界を算定し、その境界に、選択されることにより所望の形態をもつ駐車案内用仮想立体物が配置される。さらに、車載カメラによる撮影画像を第1の仮想視点に基づいて視点変換することで得られた周辺画像と、第2の仮想視点で生成された駐車案内用仮想立体物の俯瞰画像である立体物俯瞰画像とを合成した画像がモニタに表示される。これにより、運転者の嗜好にあった、好都合な駐車案内効果をもつような仮想立体物が撮影画像とともにモニタ表示される。しかも、この仮想立体物は自車を駐車させようとする駐車領域の境界に沿って配置されたものであるので、自車位置が駐車経路のどこにあってもその仮想立体物がモニタ画面において視覚的に確認しやすい最終的な駐車位置を示す目標物となる。
第1の仮想視点と第2の仮想視点を同一あるいはほぼ同一にすることで、俯瞰画像的に調和のとれた周辺俯瞰画像と立体物俯瞰画像との合成画像、つまりモニタ表示画像が得られる。
モニタ画面で撮影画像とともに表示される仮想立体物をより明確にかつ駐車案内に適したものとするためには、その立体物俯瞰画像と周辺俯瞰画像とを生成する際の第1と第2の仮想視点の位置が重要となる。このため、本発明の好適な実施形態では、前記第1の仮想視点または前記第2の仮想視点あるいはその両方が調整可能である。これにより、駐車案内に適切な俯瞰画像を得るための仮想視点を選択することができる。
駐車案内に適切な立体物俯瞰画像は、仮想立体物の形態によって異なる。例えば、仮想立体物が駐車領域の上方を覆うものである場合と、駐車領域の上方を開放するものである場合とでは、仮想視点の位置によっては、その俯瞰画像における駐車領域への視界に大きな差が出てくるからである。このことから、前記第2の仮想視点が、選択された仮想立体物の形態に応じて自動調整される構成を採用することは好適である。
仮想立体物を配置するための基準となる駐車領域の境界を信頼性よく見つけ出すための好適な形態として、駐車領域の境界を前記撮影画像から画像認識された駐車用白線に基づいて算定することが提案される。駐車場等では、駐車領域を境界付けるために駐車用白線を描画していることが一般的であるので、比較的簡単な画像認識技術である白線認識を利用することはコスト的にも品質的にも有利である。
立体物は、線や面に比べて視覚的なインパクトが大きく、モニタ表示を用いた駐車案内には好都合であるが、視点によっては立体物自体が視界を遮って駐車領域を見えにくくする可能性がある。この問題を避けるために、前記仮想立体物を半透明体とすることは好適である。
自車と駐車領域を示す仮想立体物との間の距離感を運転者に容易に与えるためには、前記仮想立体物の高さを自車の高さとしておくことが好適である。
本発明による駐車支援装置で用いられている、撮影画像と仮想立体物画像の俯瞰画像である駐車支援モニタ画面の生成原理を説明する模式図である。 本発明による駐車支援装置を搭載した車両の一部を切り欠いた車両斜視図である。 撮影画像に捉えられた駐車領域を説明する模式図である。 駐車支援制御ユニットを含む車両制御システムの一部を模式的に示す機能ブロック図である。 駐車支援制御ユニットの画像処理モジュールの機能ブロック図である。 異なる仮想視点でのモニタ表示画像の違いを説明する模式図である。 駐車支援ルーチンを示すフローチャートである。
まず、本発明による駐車支援装置で用いられている、撮影画像と仮想立体物画像の俯瞰画像である駐車支援モニタ画面の生成原理を、図1の模式図を用いて説明する。なおここでの説明では、周辺俯瞰画像を生成する際に用いる第1の仮想視点と立体物俯瞰画像を生成する際に用いる第2の仮想視点は同一であるとし、両者を単に仮想視点と呼んでいる。
駐車支援が開始されると、車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される(#1)。取得された撮影画像から、その斜め上方の仮想視点から俯瞰画像を生成するために、視点変換による画像変換処理を行う(#2)。この画像変換処理を通じて、撮影画像の俯瞰画像である周辺俯瞰画像を生成する(#3)。撮影画像または周辺俯瞰画像あるいはそれ以外の当該撮影画像に依拠する処理画像を用いて、駐車領域を検知し、最終的に駐車目標としての駐車領域を設定する。駐車領域の検知には、白線検出などの画像認識技術を用いて人を介さずに行ってもよいし、駐車領域の候補だけを示して、最終的な確認は運転者によるマニュアル操作で行ってもよい。本発明は、駐車領域の検知ないしは設定に関して特別な技術に限定しておらず、利用可能な全ての公知技術を利用することが可能である。駐車支援における案内ターゲットとして機能する、運転者の好みにあった仮想立体物の形態種が、その駐車毎にあるいは前もって選択される(#4)。仮想立体物の形態種としては、駐車領域の左右境界を規制する一対の壁体、一対の直方体、半円筒体、アーチ体、これらの立体物の奥行き側に壁体を追加した立体物などが三次元画像データとして予め用意されており、ユーザ選択が可能である。選択された仮想立体物は設定された駐車領域を路面上で規定する駐車領域境界に配置される。つまり、この仮想立体物によって駐車領域が境界づけられるようにする。当然ながら、その際、駐車する車両が駐車領域に進入していく側は開放されるような配置となる。そのように駐車領域境界に配置された仮想立体物に対して、撮影画像から周辺俯瞰画像を生成したときの仮想視点で、投影画像処理を行うことで、立体物俯瞰画像を生成する(#5)。生成された立体物俯瞰画像と周辺俯瞰画像が合成され、駐車支援のためにモニタ表示されるモニタ表示画像が生成される(#6)。このようなモニタ表示画像は、設定された駐車領域への自車の走行過程において逐次生成され、モニタ表示されるので、運転者はこのモニタ表示を見ながら、その立体物で囲まれた駐車空間に進入する感覚で駐車を行うことができる。
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、自車に備えられた前方カメラまたは後方カメラのうちの駐車方向を撮影するカメラの撮影画像と、選択された仮想立体物の投影画像とを含む俯瞰画像をモニタ表示画像とする駐車支援装置が例示されている。
図2に示すように、前輪11が操舵輪として、後輪12が非操舵輪として構成されている車両に、複数の車載カメラが設置されている。車両後部、即ちバックドア91には後方カメラ1aが備えられている。また、車両前部には、前方カメラ1bが備えられている。以下の説明において、適宜、これらのカメラ1aと1bを総称してカメラ1(車載カメラ)と称する。駐車支援においては、車両進行側のカメラ1による撮影画像ないしは当該撮影画像を用いて生成された駐車支援用画像がモニタ21に表示される。また、駐車出発点から目標とする駐車領域までの駐車経路Kに基づく音声による駐車案内もスピーカ22から発せられる。駐車領域の確認やその他の操作入力はモニタ21に装着されたタッチパネル21Tを通じて行われる。
カメラ1はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ1は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に140〜190°の視野角が確保されている。後方カメラ1a及び前方カメラ1bは、光軸に約30度程度の俯角を有して車両に設置され、車両からおおよそ8m程度までの領域を撮影可能である。
図3に示されているように、後進によって車庫入れ駐車をする場合では、駐車白線81等で境界付けられた領域から目標駐車位置としての駐車領域80が設定される。この駐車領域80への演算された駐車経路Kに沿うように駐車支援が行われるが、その際に後方カメラ1aによって取得された、自車の進行方向の周辺領域の撮影画像が必要な画像処理を施されて、モニタ21に表示される。
車両内部には、本発明の駐車支援装置の中核をなす駐車支援制御ユニット(以下単にECUと称する)20が配置されている。このECU20は、図4に示すように、情報の入出力を行う入出力インターフェースとしてセンサ入力インターフェース23や通信インターフェース70などを備えると共に、入出力インターフェースを介して得られる情報を処理するマイクロプロセッサや、DSP(digital signal processor)を備えている。また、入出力インターフェースの一部又は全てがこのようなプロセッサに含まれていてもよい。
センサ入力インターフェース23には、運転操作や移動状態を検出するための車両状態検出センサ群が接続されている。車両状態検出センサ群には、ステアリング操作方向(操舵方向)と操作量(操舵量)とを計測するステアリングセンサ24、シフトレバーのシフト位置を判別するシフト位置センサ25、アクセルペダルの操作量を計測するアクセルセンサ26、ブレーキペダルの操作量を検出するブレーキセンサ27、自車の走行距離を検出する距離センサ28などが含まれている。
また、通信インターフェース70は、車載LANを採用しており、タッチパネル21Tやモニタ21だけでなく、パワーステアリングユニットPS、変速機構T、ブレーキ装置BKなどの制御ユニットがデータ伝送可能に接続されている。
ECU20には、駐車領域設定部31と、駐車領域境界算定部32と、駐車経路生成部33と、誘導制御部34と、位置情報算定部35と、画像処理モジュール50と、表示制御部71と、音声処理モジュール72が備えられている。画像処理モジュール50で生成されたモニタ表示画像は表示制御部71でビデオ信号に変換されてモニタ21に送られる。音声処理モジュール72で生成された車両誘導のための音声ガイドや緊急時の警告音などはスピーカ22で鳴らされる。画像処理モジュール50は、カメラ1によって取得された撮影画像を処理して得られた処理済み画像を、この画像を利用する他の機能部や表示制御部71に転送する。
駐車領域設定部31は、画像処理モジュール50で前処理を終えた撮影画像に基づいて画像処理的にまたは人為操作的にあるいはその両方で、図3で示すような、自車を駐車させるための駐車領域80を設定するとともにその駐車走行の到達点となる目標駐車位置としての駐車完了位置Peを設定する。また、駐車領域設定部31は、この駐車のために停止した自車位置を駐車走行の出発点となる駐車出発点Psとして設定する機能も有する。なお、図3に示す例では、目標駐車領域80として、路面に描画されている駐車白線81を境界基準とした領域が設定されている。
駐車領域境界算定部32は、駐車領域設定部31によって設定された駐車領域80の境界(駐車領域境界)を算定する。この駐車領域境界は駐車領域80の外囲する線またはエリアとして定義されるが、例えば図3で例示するように、駐車白線81によって駐車領域80を決めている場合には、駐車白線81を駐車領域境界として算定することができる。
駐車経路生成部33は、図3で例示するような駐車経路Kを生成する。この駐車経路Kは、駐車出発点Psから駐車目標位置である駐車完了位置Peまでを結ぶ経路であり、部分的に直線が含まれたり、または全体として直線であったりしてもよいが、実質的には1つ以上の曲線で示すことができる。なお駐車経路Kの生成アルゴリズムは、従来から知られており、特開2003‐237511号公報や特開2008‐284969号公報などを参照することができる。
位置情報算定部35は、自車の移動時に、自車の誘導に必要な現在の車両位置と、自車に対する目標駐車領域Paの位置とを取得する。つまり、位置情報算定部35では自車の移動に伴って変化する自車の位置情報を検出する車両位置検出処理と、自車の移動に伴って変化する目標駐車領域Paとの相対的な位置関係を算定する駐車領域相対位置算定処理とを行う。これらの処理はカメラ1で取得された撮影画像と、距離センサ28で取得する車両移動量と、ステアリングセンサ24で計測されるステアリングホイール34の操舵量とに基づいて行われる。
誘導制御部34は、駐車経路生成部33によって生成された直接駐車経路Kに基づく駐車を誘導する。その際、位置情報算定部35からの位置情報が参照される。誘導制御部34は、位置情報算定部35からの位置情報を参照しながら、駐車経路Kに沿うように誘導制御によって自車を走行させる制御を実現することができる。しかしながら、誘導制御部34がパワーステアリングユニットPS、変速機構T、ブレーキ装置BKを制御する自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。いずれにせよ、この誘導制御部34が、誘導情報を出力画像処理モジュール60や音声処理モジュール70に送ることで操舵方向や操舵量をモニタ21に表示させたり、操舵方向や操舵量をスピーカ22から出力させたりすることが好ましい。
図5に、ECU20の画像処理モジュール50の機能ブロック図が示されている。画像処理モジュール50は、自車周辺を撮影するカメラ1によって取得された撮影画像から自車上方を視点とする視点変換によって俯瞰画像を生成する機能を有している。画像処理モジュール50は、入力された撮影画像から斜め上方の第1の仮想視点で視点変換されて生成された周辺俯瞰画像と、選択された仮想立体物の斜め上方の第2の仮想視点での投影画像によって生成された立体物俯瞰画像とを組み合わせたモニタ表示画像を出力する。この実施形態では、基本的に、周辺俯瞰画像を生成する際に用いる第1の仮想視点と立体物俯瞰画像を生成する際に用いる第2の仮想視点は同一であるとし、両者を単に仮想視点と呼んでいる。
画像処理モジュール50は、撮影画像メモリ51、前処理部52、画像生成部53、仮想立体物格納部53、仮想立体物選定部54、画像合成部55、フレームメモリ56を含んでいる。カメラ1によって取得された撮影画像は撮影画像メモリ51に展開され、前処理部52は前方カメラ1aや後方カメラ1bによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。
仮想立体物格納部53には、種々の立体物の投影画像を作成するために必要な三次元データが格納されている。この三次元データには透明属性も含めたテキスチャデータが含まれている。仮想立体物選定部54は、図示されていないグラフィックインターフェースを利用することで、モニタ21とタッチパネル21Tとを通じてのユーザによる仮想立体物の選択を可能にする機能も有している。さらに仮想立体物選定部54は、設定された駐車領域80に対応したデフォルトの仮想立体物を選定する機能も有する。
画像生成部60は、通常画像生成部61、仮想視点変更部62、マッピングテーブル63、周辺俯瞰画像生成部64、立体物俯瞰画像生成部65、報知イメージ生成部66を含んでいる。
通常画像生成部61は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像は前方カメラ1aと後方カメラ1bとで独立しており、そのモニタ表示を任意に選択することができる。
仮想視点変更部62は、この画像生成部60で実行される視点変換処理や投影画像生成処理における仮想視点の位置を任意に変更・設定する機能を有し、この仮想視点の変更は、ユーザによるマニュアル操作も可能である。
周辺俯瞰画像生成部64は、撮影画像メモリ51に展開されている撮影画像をマッピングテーブル63に仮想始点毎に用意された視点変換テーブルを用いて生成して、画像合成部55に送る。その際に使用される仮想始点位置は、仮想視点変更部62で設定されたものである。
立体物俯瞰画像生成部65は、仮想立体物選定部54で選定された仮想立体物を、駐車領域境界算定部32で算定された駐車領域境界に配置する。さらに、周辺俯瞰画像を生成したときに用いた仮想視点でその仮想立体物の投影画像である立体物俯瞰画像を生成して、画像合成部55に送る。この、マッピングテーブル63の投影変換テーブルが用いられる。
報知イメージ生成部66は、駐車支援時に運転者に与えるメッセージなどが発生した場合これをイメージ化して、画像合成部55に送る。
なお、マッピングテーブル63の視点変換テーブルは種々の形態で構築することができるが、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとして構築し、1フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものとするのが好都合である。マッピングテーブル63の投影画像生成テーブルも同様な形態で構築して、仮想立体物の三次元データを構成する各画素に俯瞰画像における行き先画素座標が記述されたものとするのが好都合である。
画像合成部55は、周辺俯瞰画像生成部64で生成された周辺俯瞰画像と、立体物俯瞰画像生成部65で生成された立体物俯瞰画像と、場合によっては報知イメージ生成部66で生成される報知イメージを合成して、1つのモニタ表示画像としてフレームメモリ56に転送する。フレームメモリ56に転送されたモニタ表示画像は表示制御部71を通じてモニタ21に表示される。このモニタ表示画像は、駐車領域80及びこの駐車領域80を囲むように配置された仮想立体物を含む車両進行方向の周辺領域の斜め上から見た駐車支援用俯瞰画像である。
このようなモニタ表示される駐車支援用俯瞰画像は、図6で模式的に示すように、自車が駐車経路Kに沿って駐車走行する間、逐次生成され、モニタ21に表示される。図6の(a)には、自車位置P1における、異なる2つの仮想視点AとBでのモニタ表示画像が示されている。図から理解できるように視点Aは視点Bより垂直な視線を作り出す視点であり、より俯瞰度がたかくなっている。この実施の形態では、仮想視点は変更可能であるので、自車が駐車経路Kに沿って駐車走行する間に視点を変更することも可能である。例えば、自車位置P1(図6の(a))では視点Bを採用し、自車位置P2(図6の(b))では視点Aを採用するような駐車支援用俯瞰画像表示も可能である。もちろん、常に複数の異なる視点での俯瞰画像を表示することも可能である。さらにその際、視点は自動的に変更されても良い。例えば、車両の移動に応じて連続的に自動で変更されてもよい。より具体的には、自車位置P1では図6の(a)の視点AもしくはBで表示し、車両の後退に伴って、視点は上昇していき、駐車完了位置Pe(もしくは駐車完了位置Peの近傍)に到達したときに鉛直上方から見下ろす視点(すなわち、トップビュー表示)とするような自動視点変更制御である。この自動視点変更の対象としては、周辺俯瞰画像だけ、または立体物俯瞰画像だけ、あるいは周辺俯瞰画像と立体物俯瞰画像の両方としてもよい。
次に、上述のように構成された駐車支援装置による駐車支援制御の流れを図7のフローチャートを用いて説明する。
駐車支援制御によって図6で示されているような駐車場で後進での車庫入れ駐車を行う場合には、駐車場の適当な走行路で自車を停車し、この駐車支援装置による駐車支援を開始させる(#00Yes分岐)。駐車支援が開始すると、停車した自車位置を駐車出発位置として読み込む(#02)。この駐車出発位置Psから駐車可能な駐車領域80を設定する(#04)。この駐車領域設定処理は、後方カメラ1aによる撮影画像から白線認識等によって検知した領域から運転者による確認を通じて行うのが好ましいが、その他の公知の技術を採用してもよい。駐車目標となる駐車領域80が設定されると、駐車出発位置Psと駐車領域80(より詳しくは駐車領域80に駐車した時の自車の中心である駐車完了位置Peとの間に形成される駐車経路を演算する(#06)。さらに、予め選択指令を受けている仮想立体物を選定し、その仮想立体物の三次元データを読み出して、投影演算処理空間における駐車領域境界に配置する(#08)。予め運転者によって選択されるか、あるいはデフォルトで決められている仮想視点を設定する(#10)。
次いで、実質的な駐車支援用俯瞰画像表示処理が行われる。まず、撮影画像が取り込まれ(#12)、この撮影画像から周囲俯瞰画像が生成される(#14)。さらに、駐車領域境界に配置された仮想立体物に対して、撮影画像から周辺俯瞰画像を生成したときの仮想視点で、投影画像処理を行うことで、立体物俯瞰画像を生成する(#16)。また要求があった場合には、運転者に対する駐車支援に関するメッセージなどをイメージ化した報知イメージが生成される(#18)。生成された立体物俯瞰画像と周辺俯瞰画像と報知イメージとが合成され、駐車支援のためにモニタ表示されるが生成される(#20)。生成されたモニタ表示画像がモニタ21に表示される(#22)。同時に、車両誘導が行われ(#24)、移動情報が読み込まれる(#26)。移動情報に基づいて移動距離が算定され、自車が所定距離だけ走行する毎に、駐車目標点に到達したかどうかチェックされる(#28)。自車が駐車目標点に到達していなければ(#28No分岐)、新たな撮影画像での駐車支援用俯瞰画像を生成し、これをモニタ表示しながら車両誘導を続行するためにステップ#12に戻る。自車が駐車目標点に到達すれば(#28Yes分岐)、自車は停止し、この駐車支援ルーチンは終了する。
〔別実施の形態〕
上記実施の形態の説明では、基本的には、周辺俯瞰画像を生成する際に用いる第1の仮想視点と立体物俯瞰画像を生成する際に用いる第2の仮想視点は同一であるとし、両者を単に仮想視点と呼んでいた。しかしながら、第1の仮想視点と第2の仮想視点とは同一でなくてもよい。仮想立体物の形態によっては第2の仮想視点を第1の仮想視点と相違させたほうがより大きな視覚効果が得られるものもある。また、そのような視覚効果は人によっても異なるので、それぞれが独立して調整可能にすることも好都合である。
本発明は、自車の進行方向の周辺領域を撮影する車載カメラによって取得された撮影画像をモニタ表示する駐車支援装置に利用することができる。
1:カメラ
21:モニタ
31:駐車領域設定部
33:駐車経路生成部
32:駐車領域境界算定部
34:誘導制御部
35:位置情報算定部
50:画像処理モジュール
51:撮影画像メモリ
53:仮想立体物格納部
54:仮想立体物選定部
55:画像合成部
56:フレームメモリ
60:画像生成部
63:マッピングテーブル
64:周辺俯瞰画像生成部
65:立体物俯瞰画像生成部
66:報知イメージ生成部

Claims (7)

  1. 自車の進行方向の周辺領域を撮影する車載カメラによって取得された撮影画像をモニタ表示する駐車支援装置であって、
    前記撮影画像を斜め上方の第1の仮想視点に基づいて視点変換することで周辺俯瞰画像を生成する周辺俯瞰画像生成部と、
    自車を駐車させる駐車領域の境界を算定する駐車領域境界算定部と
    駐車案内用仮想立体物の形態を選択する仮想立体物選択部と、
    斜め上方の第2の仮想視点に基づく前記駐車領域の境界に沿って配置された前記選択された仮想立体物の立体物俯瞰画像を生成する立体物俯瞰画像を生成する立体物俯瞰画像生成部と、
    前記周辺俯瞰画像と前記立体物俯瞰画像とを合成してモニタ表示画像として出力する画像合成部と、
    を備えた駐車支援装置。
  2. 前記第1の仮想視点と前記第2の仮想視点は同じである請求項1に記載の駐車支援装置。
  3. 前記第1の仮想視点または前記第2の仮想視点あるいはその両方は調整可能である請求項1または2に記載の駐車支援装置。
  4. 前記第2の仮想視点は、選択された仮想立体物の形態に応じて自動調整される請求項1から3のいずれか一項に記載の駐車支援装置。
  5. 前記駐車領域の境界は前記撮影画像から画像認識された駐車用白線に基づいて算定される請求項1から4いずれか一項に記載の駐車支援装置。
  6. 前記仮想立体物は半透明体である請求項1から5のいずれか一項に記載の駐車支援装置。
  7. 前記仮想立体物の高さは自車の高さである請求項1から6のいずれか一項に記載の駐車支援装置。
JP2010210818A 2010-09-21 2010-09-21 駐車支援装置 Expired - Fee Related JP5618139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010210818A JP5618139B2 (ja) 2010-09-21 2010-09-21 駐車支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010210818A JP5618139B2 (ja) 2010-09-21 2010-09-21 駐車支援装置

Publications (2)

Publication Number Publication Date
JP2012066614A true JP2012066614A (ja) 2012-04-05
JP5618139B2 JP5618139B2 (ja) 2014-11-05

Family

ID=46164432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010210818A Expired - Fee Related JP5618139B2 (ja) 2010-09-21 2010-09-21 駐車支援装置

Country Status (1)

Country Link
JP (1) JP5618139B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017065276A (ja) * 2015-09-28 2017-04-06 三菱自動車工業株式会社 ステアリングハンドル
WO2018159177A1 (en) * 2017-02-28 2018-09-07 Mitsubishi Electric Corporation Vehicle automated parking system and method
JP2019051811A (ja) * 2017-09-14 2019-04-04 パナソニックIpマネジメント株式会社 駐車支援装置および車両
WO2023027039A1 (ja) * 2021-08-24 2023-03-02 株式会社デンソー 駐車支援装置、駐車支援方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001027535A (ja) * 1999-05-12 2001-01-30 Denso Corp 地図表示装置
JP2001180405A (ja) * 1999-12-28 2001-07-03 Toyota Autom Loom Works Ltd 操舵支援装置
JP2004147083A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2008284969A (ja) * 2007-05-16 2008-11-27 Aisin Seiki Co Ltd 駐車支援装置
JP2009292457A (ja) * 2008-05-08 2009-12-17 Aisin Seiki Co Ltd 車両周辺表示装置
JP2010163103A (ja) * 2009-01-16 2010-07-29 Denso Corp 駐車支援装置および駐車支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001027535A (ja) * 1999-05-12 2001-01-30 Denso Corp 地図表示装置
JP2001180405A (ja) * 1999-12-28 2001-07-03 Toyota Autom Loom Works Ltd 操舵支援装置
JP2004147083A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2008284969A (ja) * 2007-05-16 2008-11-27 Aisin Seiki Co Ltd 駐車支援装置
JP2009292457A (ja) * 2008-05-08 2009-12-17 Aisin Seiki Co Ltd 車両周辺表示装置
JP2010163103A (ja) * 2009-01-16 2010-07-29 Denso Corp 駐車支援装置および駐車支援システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017065276A (ja) * 2015-09-28 2017-04-06 三菱自動車工業株式会社 ステアリングハンドル
WO2018159177A1 (en) * 2017-02-28 2018-09-07 Mitsubishi Electric Corporation Vehicle automated parking system and method
US10268201B2 (en) 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
JP2019051811A (ja) * 2017-09-14 2019-04-04 パナソニックIpマネジメント株式会社 駐車支援装置および車両
WO2023027039A1 (ja) * 2021-08-24 2023-03-02 株式会社デンソー 駐車支援装置、駐車支援方法

Also Published As

Publication number Publication date
JP5618139B2 (ja) 2014-11-05

Similar Documents

Publication Publication Date Title
JP5454934B2 (ja) 運転支援装置
WO2012169355A1 (ja) 画像生成装置
JP5618138B2 (ja) 駐車支援装置
EP2623376B1 (en) Parking assistance device
WO2012096058A1 (ja) 画像生成装置
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP5682788B2 (ja) 車両周辺監視装置
US9050931B2 (en) Vehicle periphery monitoring system
KR101332932B1 (ko) 주차지원장치
JP4642723B2 (ja) 画像生成装置および画像生成方法
WO2012172923A1 (ja) 車両周辺監視装置
JP5870608B2 (ja) 画像生成装置
JP5516998B2 (ja) 画像生成装置
US10467789B2 (en) Image processing device for vehicle
JP5495071B2 (ja) 車両周辺監視装置
WO2012053029A1 (ja) 3次元立体表示装置
JP2011004201A (ja) 周辺表示装置
JP2012136206A (ja) 駐車制御システム、及び、駐車制御方法
JP2012105090A (ja) 駐車支援装置
JP5618139B2 (ja) 駐車支援装置
JP2012096597A (ja) 駐車支援装置
JP5516997B2 (ja) 画像生成装置
JP5500392B2 (ja) 車両周辺監視装置
JP2006279511A (ja) 周辺監視システム
JPWO2012131862A1 (ja) 画像処理装置、立体画像表示装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140903

R151 Written notification of patent or utility model registration

Ref document number: 5618139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees