JP2012046125A - 画像表示システム、画像処理装置、および、画像処理方法 - Google Patents

画像表示システム、画像処理装置、および、画像処理方法 Download PDF

Info

Publication number
JP2012046125A
JP2012046125A JP2010191922A JP2010191922A JP2012046125A JP 2012046125 A JP2012046125 A JP 2012046125A JP 2010191922 A JP2010191922 A JP 2010191922A JP 2010191922 A JP2010191922 A JP 2010191922A JP 2012046125 A JP2012046125 A JP 2012046125A
Authority
JP
Japan
Prior art keywords
vehicle
image
distance
user
reference position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010191922A
Other languages
English (en)
Other versions
JP5643028B2 (ja
Inventor
Takechika Kiritani
武親 桐谷
Yasuyoshi Sawada
康嘉 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2010191922A priority Critical patent/JP5643028B2/ja
Publication of JP2012046125A publication Critical patent/JP2012046125A/ja
Application granted granted Critical
Publication of JP5643028B2 publication Critical patent/JP5643028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】駐車スペースの車両の進行方向に沿った距離を精度よく測定できる技術を提供する。
【解決手段】車両のユーザの選択により第1基準位置を設定して、車両の特定部位に基づく第2基準位置と第1基準位置との第1距離を導出し、第1距離が駐車に必要な第2距離以上となった場合にユーザへ報知する。これにより、車両の位置と駐車スペースとの位置関係を明確にして駐車スペースの距離を精度よくユーザへ知らせることができる。
【選択図】図1

Description

本発明は、車両における画像表示技術に関する。
従来、車両を駐車する場合にユーザの目測で駐車スペースの広さを判断していた。そして、当該スペースへの駐車を開始した結果、車両の大きさよりも駐車スペースが狭いことにより駐車を断念せざるを得ない場合があった。また、車両の大きさと駐車スペースの広さとが略同一である場合、運転に慣れないユーザが駐車の際に車体を駐車スペースの外の障害物に衝突させてしまう可能性があった。
これに対して、駐車スペースへの駐車の可否を判断する技術が特許文献1に開示されている。この技術では、車両の前方に備えられたカメラにより車両の側方の画像を撮影してモニタに表示する。表示された画像に基づいて駐車スペースの一端を始点位置としてユーザが選択する。そして、始点位置決定後に車両を前進させ、駐車スペースの他端を終点位置としてユーザが選択することで、駐車スペースの車両の進行方向の距離を測定し、測定された距離と車体の長さとを比較して、駐車の可否を判定する。
特開2007−91046号公報
しかしながら、特許文献1に開示されている技術では、ユーザが車両の側方からの自車の車両が表示されていない画像に基づいて始点位置および終点位置を選択するため、自車の車両位置と駐車スペースの始点位置および終点位置との位置関係が明確ではない。このため、駐車スペースの始点と終点の位置を正確に設定して、駐車スペースの車両の進行方向に沿った距離を精度よく測定することが困難であった。また、駐車スペース以外に、ユーザが任意の位置からの距離の計測を行いたい場合に計測することができなかった。
本発明は、自車の車両位置と対応させて距離を精度よく測定すること目的とする。
上記課題を解決するために、請求項1の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を表示する表示手段と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第1基準位置を設定する設定手段と、前記車両の特定部位に基づく第2基準位置と前記第1基準位置との距離である第1距離を導出する導出手段と、前記車両の移動によって変化する前記第1距離に関する情報を前記ユーザに報知する報知手段と、を備える。
また、請求項2の発明は、請求項1に記載の画像表示システムにおいて、前記報知手段は、前記車両の移動により前記第1距離が前記車両の駐車に必要な第2距離以上となった場合に前記ユーザに報知する。
また、請求項3の発明は、請求項1または2に記載の画像表示システムにおいて、前記表示手段は、前記第1基準位置を設定する場合において、前記車両の先端部から前記車両の左右方向に延びる線上のポイントを指標で表示する。
また、請求項4の発明は、請求項1乃至3のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の後端部に基づく位置である第2基準位置と前記第1基準位置との距離である第1距離を導出する。
また、請求項5の発明は、請求項1乃至3のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の先端部に基づく位置である第2基準位置と前記第1基準位置との距離である第1距離を導出する。
また、請求項6の発明は、請求項1乃至5のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の進行に伴い移動する前記第2基準位置が前記第1基準位置と接触した後に前記第1基準位置から離れた場合に前記第1距離の導出を開始する。
また、請求項7の発明は、請求項1乃至6のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記第1距離の導出に必要となるユーザの運転操作情報を前記俯瞰画像と関連付けて表示する
また、請求項8の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第1基準位置を設定する設定手段と、前記車両の特定部位に基づく第2基準位置と前記第1基準位置との距離である第1距離を導出する導出手段と、前記車両の移動によって変化する前記第1距離に関する情報を前記ユーザに報知する報知手段と、を備える。
また、請求項9の発明は、車両に搭載される画像表示方法であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、前記俯瞰画像を表示する工程と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第1基準位置を設定する工程と、前記車両の特定部位に基づく第2基準位置と前記第1基準位置との距離である第1距離を導出する工程と、前記車両の移動によって変化する前記第1距離に関する情報を前記ユーザに報知する工程と、を備える。
さらに、請求項10の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から生成される前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を表示装置に出力して表示させる出力手段と、前記俯瞰画像に示される前記車両の周辺領域に相対固定される第1基準マークと、前記俯瞰画像に示される前記車両に相対固定される第2基準マークとを、前記俯瞰画像に重畳する重畳手段と、前記車両の移動により、前記第1基準マークと前記第2基準マークとの距離が所定距離以上になると前記ユーザに報知する報知手段と、を備える。
請求項1ないし10の発明によれば車両の移動によって変化する第1距離に関する情報をユーザに報知することで、車両のユーザが任意の位置からの距離の計測を行いたい場合に正確に計測することができる。
また、請求項2の発明によれば、第1距離が車両の駐車に必要な第2距離以上となった場合にユーザに報知することで、車両の位置と駐車スペースとの位置関係を明確にして、駐車スペースの距離を精度よくユーザへ知らせることができる。
また、特に請求項3の発明によれば、表示手段が、第1基準位置を設定する場合において、車両の先端部から車両の左右方向に延びる線上のポイントを指標で表示することで、ユーザは車両から目視で確認できる駐車スペースと表示された俯瞰画像との関係を車両を移動させながら把握できると共に、ユーザが目視で確認した位置を確実に設定できる。
また、特に請求項4の発明によれば、導出手段は、車両の後端部に基づく位置である第2基準位置と第1基準位置との距離である第1距離を導出することで、ユーザは駐車に必要な距離となった車両の位置からすぐに駐車動作を開始できる。
また、特に請求項5の発明によれば、導出手段は、車両の先端部に基づく位置である第2基準位置と前記第1基準位置との距離である第1距離を導出することで、ユーザは第1距離を導出している間に、車両の移動に伴って駐車スペースの状態を目視で確認できる。
また、特に請求項6の発明によれば、導出手段は、車両の進行に伴い移動する第2基準位置が第1基準位置と接触した後に第1基準位置から離れた場合に第1距離の導出を開始することで、ユーザは距離の導出のタイミングを知ることができ、距離の導出開始後のステアリングの不要な操作をなくすことで、正確な距離の導出が可能となる。
また、特に請求項7の発明によれば、表示手段は、第1距離の導出に必要となるユーザの運転操作情報を俯瞰画像と関連付けて表示することで、ユーザは第1距離を導出する場合に必要となる運転操作を合成画像と一緒に確認できる。
図1は、画像表示システムのブロック図である。 図2は、車載カメラが車両に配置される位置を示す図である。 図3は、合成画像を生成する手法を説明するための図である。 図4は、画像表示システムの動作モードの遷移を示す図である。 図5は、第1の実施の形態の縦列駐車モードを説明する図である。 図6は、画像処理装置の処理フローチャートである。 図7は、第2の実施の形態の縦列駐車モードを説明する図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<第1の実施の形態>
<1−1.システム構成>
図1は、画像表示システム120のブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置20などの表示装置に出力する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
図1に示すように、画像表示システム120は、車両の周辺を示す周辺画像を生成してナビゲーション装置20などの表示装置に画像情報を出力する画像処理装置100と、車両の周囲を撮影するカメラを備えている撮影部5とを主に備えている。
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行う操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
ナビゲーション装置20は、画像処理装置100と通信可能に接続され、画像処理装置100との間で各種の制御信号の送受信や、画像処理装置100で生成された周辺画像の受信が可能となっている。ディスプレイ21には、制御部23の制御により、通常はナビゲーション装置20単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置100で生成された車両の周辺の様子を示す周辺画像や、車両9及び車両9の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ21に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置20は、画像処理装置100で生成された周辺画像を受信して表示する表示装置としても機能する。
画像処理装置100は、その本体部10が周辺画像を生成する機能を有するECU(Electronic Control Unit)であり、車両の所定の位置に配置される。画像処理装置100は、車両の周辺を撮影する撮影部5を備えており、この撮影部5で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部5が備える複数の車載カメラ51,52,53は、本体部10とは別の車両の適位置に配置されるが詳細は後述する。
画像処理装置100の本体部10は、装置全体を制御する制御部1と、撮影部5で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42とを主に備えている。
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。これにより、画像処理装置100は、ナビゲーション装置20に対するユーザの操作に応答した動作が可能となっている。
また、画像処理装置100は、駐車支援ボタン201を備えている。この駐車支援ボタン201がユーザに操作されると、ユーザの指示を示す信号が制御部1に入力されて、後述するフロントモードM2(図4に示す。)の画像が表示される。なお、この駐車支援ボタン45はハードボタンとして画像処理装置100やナビゲーション装置20に設けられてもよいし。また、駐車支援ボタン45は、ナビゲーション装置20のディスプレイ21にユーザが指などをディスプレイ21に接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
画像生成部3は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部31、画像範囲選択部32、及び、画像情報出力部33を主な機能として備えている。
合成画像生成部31は、撮影部5の複数の車載カメラ51,52,53で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部31が仮想視点からみた合成画像を生成する手法については後述する。
また、画像情報出力部33は合成画像生成部31において生成された合成画像情報をナビゲーション装置20へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置20のディスプレイ21に表示されることになる。
制御部1は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部11、位置設定制御部12、距離導出制御部13、及び、報知制御部14は、このようにして実現される制御部1の機能のうちの一部を示している。
画像制御部11は、画像生成部3によって実行される画像処理を制御するものである。例えば、画像制御部11は、合成画像生成部31が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部32がサイドカメラ53により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。
位置設定制御部12は、後述するユーザが車両9を縦列駐車する際に選択される縦列駐車モードにおいて、車両9の先端部に表示される指標MA(図5に示す。)と他車両またはその他の位置(例えば駐車スペースの領域内の一地点)との位置関係に基づいたユーザの選択により計測開始位置DA(図5に示す。)を設定する。つまり、指標MAはユーザが選択した地点に固定されて、計測開始位置DAとなる。
また、位置設定制御部12は、俯瞰画像(例えば図5に示す画像M41)に示される車両9の周辺領域に相対固定される計測開始位置DA(第1基準マーク)と俯瞰画像に示される車両9に相対固定される計測位置BA(第2基準マーク)とを、俯瞰画像中に重畳する制御を行う。
なお、計測開始位置DAの設定は、ディスプレイ21のタッチパネルやハードボタンを用いたユーザの操作により行う。
距離導出制御部13は、後述する車両9の特定部位(例えば、車両9の先端部や車両9の後端部など)に基づく計測位置BAとユーザの選択により設定された計測開始位置DAとの間の距離を導出する。なお、計測位置BAはユーザの計測開始位置DAの設定に伴い車両9の特定部位に基づいてディスプレイ21に表示され、車両9の移動に伴って車両9の進行方向へ移動する。
報知制御部14は、車両9の移動により、計測開始位置DAと計測位置BAとの距離が車両9の駐車に必要な距離(例えば、車両の全長の約1.5倍)以上となった場合にユーザへの報知を行う。駐車に必要な距離以上となった報知の例は、ディスプレイ21に表示されている画像の色や大きさを変えたり、ナビゲーション装置20から音声を出力などがあげられる。
また、画像処理装置100の本体部10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ40には、車種別データ4aが記憶されている。車種別データ4aは、合成画像生成部31が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、車両を駐車する際に必要な距離などのデータも記録されている。
カード読取部44は、可搬性の記録媒体であるメモリカードMCの読み取りを行う。カード読取部44は、メモリカードMCの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードMCに記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。
メモリカードMCは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置100はメモリカードMCに記憶された種々のデータを利用できる。例えば、メモリカードMCにプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。また、メモリカードMCに不揮発性メモリ40に記憶された車種別データ4aとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ40に記憶させることで、画像表示システム120を異なる種別の車両に対応させることも可能である。
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。具体的には、シフトセンサ81、車速センサ82、及び、方向指示器83などから、各種情報を示す信号が制御部1に入力される。
シフトセンサ81からは、車両9の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。車速センサ82からは、その時点の車両9の走行速度(km/h)が入力される。
方向指示器83からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向(左方向あるいは右方向)を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
<1−2.撮影部>
次に、画像処理装置100の撮影部5について詳細に説明する。撮影部5は、制御部1に電気的に接続され、制御部1からの信号に基づいて動作する。
撮影部5は、車載カメラであるフロントカメラ51、バックカメラ52及びサイドカメラ53を備えている。これらの車載カメラ51,52,53はそれぞれ、CCDやCMOSなどの撮像素子を備えており電子的に画像を取得する。
図2は、車載カメラ51,52,53が車両9に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す3次元のXYZ直交座標を用いる。このXYZ軸は車両9に対して相対的に固定される。ここで、X軸方向は車両9の左右方向に沿い、Y軸方向は車両9の直進方向(前後方向)に沿い、Z軸方向は鉛直方向に沿っている。また、便宜上、+X側を車両9の右側、+Y側を車両9の後側、+Z側を上側とする。
フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向(平面視でY軸方向の−Y側)に向けられている。バックカメラ52は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸52aは車両9の直進方向の逆方向(平面視でY軸方向の+Y側)に向けられている。また、サイドカメラ53は、左右のドアミラー93にそれぞれ設けられており、その光軸53aは車両9の左右方向(平面視でX軸方向)に沿って外部に向けられている。なお、フロントカメラ51やバックカメラ52の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
これらの車載カメラ51,52,53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51,52,53は180度以上の画角αを有している。このため、4つの車載カメラ51,52,53を利用することで、車両9の全周囲の撮影が可能となっている。
<1−3.画像変換処理>
次に、画像生成部3の合成画像生成部31が、撮影部5で得られた複数の撮影画像に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ40に予め記憶された車種別データ4aが利用される。図3は、合成画像を生成する手法を説明するための図である。
撮影部5のフロントカメラ51、バックカメラ52及びサイドカメラ53で同時に撮影が行われると、車両9の前方、後方、左側方、及び、右側方をそれぞれ示す4つの撮影画像P1〜P4が取得される。すなわち、撮影部5で取得される4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
次に、4つの撮影画像P1〜P4の各画素が、仮想的な三次元空間における立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、この立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両9における4つの車載カメラ51,52,53の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ40に記憶された車種別データ4aに含まれている。
また、車種別データ4aに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両9の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面SPが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
さらに、立体曲面SPが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
例えば、視点位置が車両9の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点VP1を設定した場合は、車両9の略直上から車両9を見下ろすように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP1が生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方とした仮想視点VP2を設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP2が生成される。
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。
<1−4.動作モード>
次に、画像表示システム120の動作モードについて説明する。図4は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM1、フロントモードM2、バックモードM3、及び、縦列駐車モードM4の4つの動作モードを有している。これらの動作モードは、ユーザの操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
ナビモードM1は、ナビゲーション装置20の機能により、ナビゲーション案内用の地図画像NPを主にディスプレイ21に表示する動作モードである。ナビモードM1では、画像処理装置100の機能が利用されず、ナビゲーション装置20単体の機能で各種の表示がなされる。
フロントモードM2、バックモードM3、及び、縦列駐車モードM4は、画像処理装置100の機能を利用して、撮影画像PP、合成画像CP及びCQ0、運転サポート画像PH0などをディスプレイ21に表示して、車両9の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。
また、フロントモードM2は、前進時に必要となる車両9の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両9の直上の仮想視点からみた車両9及び車両9の周辺の様子を示す合成画像(俯瞰画像)CP、つまり、仮想的に俯瞰した画像と、フロントカメラ51での撮影により得られる撮影画像PPとが同時にディスプレイ21に表示される。この合成画像CPの仮想視点の位置は、車両9の直上に限らず、ユーザの操作に応じて車両9の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードM2は、自車の中心に周囲2〜3mの範囲を俯瞰画像として表示したモードである。
また、バックモードM3は、後退時に必要となる車両9の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両9の直上の仮想視点からみた車両9及び車両9の周辺の様子を示す合成画像(俯瞰画像)CPと、バックカメラ52での撮影により得られる撮影画像PPとが同時にディスプレイ21に表示される。この合成画像CPの仮想視点の位置は、車両9の直上に限らず、ユーザの操作に応じて車両9の前方側などへ切り替えられるようになっていてもよい。
さらに、縦列駐車モードM4は、ユーザが車両9を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両9の直上の仮想視点からみた車両9、車両9の先端部から車両9の左右方向に延びる線上のポイントを表示する指標MA、及び、車両9の周辺の様子を示す画像が合成画像俯瞰画像)CQ0として表示される。
詳細には縦列駐車モードM4は、フロントモードM2の縦列駐車ボタン202をユーザが操作することにより開始される。そして、縦列駐車モードM4では、フロントモードM2で表示されていた車両9と車両9の周辺の様子を示す合成画像俯瞰画像)CPに、車両9の先端部から車両9の左右方向に延びる線上のポイントを表示する指標MAが加わり、合成画像CQとして表示される。
なお、以下では、図中の車両9の右側の指標を指標MRとし、車両9の左側の指標を指標MLとし、これら2つの指標を合わせて指標MAという。
また、ユーザの運転操作の情報を合成画像CQ0の表示と関連付けて表示する運転サポート画像PH0も合成画像CQ0と同時にディスプレイに表示される。つまり、フロントモードM2の縦列駐車ボタン202をユーザが操作すると、フロントモードM2で表示されていた撮影画像PPが運転サポート画像PH0に切り替わる。
各モードの遷移は、ナビモードM1において、ナビゲーション装置20のディスプレイ21に表示される駐車支援ボタン201をユーザが操作した場合、または、ユーザが操作部22を操作した場合など、所定操作によりフロントモードM2に切り替えられる。また、フロントモードM2において、ユーザの操作部22による操作などの所定操作により、ナビモードM1に切り替えられる。なお、ナビモードM1とフロントモードM2とは、車速センサ82から入力される走行速度に応じて切り替えてもよい。
また、ナビモードM1あるいはフロントモードM2の場合に、シフトセンサ81から入力されるシフトポジションが”R(後退)”となったときは、バックモードM3に切り替えられる。すなわち、シフトポジションが”R(後退)”の場合は、車両9は後退する状態であるため、車両9の後方を主に示すバックモードM3に切り替えられる。また、バックモードM3の場合に、シフトポジションが”R(後退)”以外となったときは、バックモードM3に切り替えられる直前の動作モードに戻ることになる。なお、バックモードM3において、ディスプレイ21に表示される駐車支援ボタン201をユーザが操作した場合は、フロントモードM2となる。
そして、フロントモードM2において、ディスプレイ21に表示された縦列駐車ボタン202をユーザが操作すると、縦列駐車モードM4の画像が画像処理装置100から出力され、ディスプレイ21に表示される。また、縦列駐車モードM4においてディスプレイ21の戻るボタン203をユーザが操作した場合は、フロントモードM2に遷移する。
<1−5縦列駐車モード>
以下では、縦列駐車モードM4の画像の詳細について説明する。図5は第1の実施の形態の縦列駐車モードM4を説明する図である。フロントモードM2でユーザにより縦列駐車ボタン202が選択されると、縦列駐車モードM4の画像(以下、「画像M4」ともいう。)が画像処理装置100から出力され、ディスプレイ21に表示される。なお、以下に説明する縦列駐車モードM4の各画像(M4、M41、M42、及び、M43)は縦列駐車モード内での各画像の遷移であり、ユーザの選択や車両操作に応じてこれらの画像が画像処理装置100から出力され、ディスプレイ21に表示される。
画像M4は、合成画像CQ0の略中心に車両9の画像が表示されている。そして、車両9の先端部には左右方向に延びる線上のポイントの指標MAが表示されており、車両9の右前側方には位置する他車両19が表示されている。
なお、指標MAは、車両9の右側には指標MR、車両9の左側には指標MLを備えており、車両9の進行に伴い車両9の同方向に移動する。つまり、合成画像CQ0では車両9の進行に伴い指標MA指標MR)が他車両19の後端部に接近している。このように合成画像CQ0はほぼ車両9及び車両9の周辺領域をほぼリアルタイムに表示する。
また、画像M4にはビットマップ画像の運転サポート画像PH0が表示されている。この運転サポート画像PH0は合成画像CQ0の俯瞰画像と関連付けて車両9のユーザに必要な運転操作の情報を表示する。
そして、ユーザが目視で確認した車両9の駐車スペースの車両9の進行方向に沿った距離の計測を開始する場合、その計測を開始する位置を設定するために、ユーザは画像M4の地点設定ボタン204を選択する。なお、ユーザが戻るボタン203を選択すると前のモードであるフロントモードM2に遷移する。
縦列駐車モードM4の画像M41以下、「画像M41」ともいう。)は、車両9を他車両19の方向に進行させて地点設定ボタン204をユーザが選択した場合の画像を示している。画像M41の合成画像CQ1では、車両9の指標MRが他車両19の先端部に位置している。このような位置でユーザが地点設定ボタン204を選択すると、指標MA(指標MRおよび指標ML)は、計測開始位置DAとして設定される。
なお、この計測開始位置DAは、車両9の右側の計測開始位置を計測開始位置DR、車両9の左側の計測開始位置を計測開始位置DLを備えており、ユーザが選択した位置に指標MR及び指標MLが、計測開始位置DR及びDLとして固定される。これにより、ユーザは車両からの目視で確認できる駐車スペースと表示された俯瞰画像との関係を車両を移動させながら把握できると共に、ユーザが目視で確認した位置を確実に設定できる。また、ユーザは車両9の位置と計測開始位置DA及び計測位置BAとの位置を明確に把握できる。
また、ユーザの地点設定ボタン204選択による計測開始位置の設置に伴い、車両9の後端部に計測位置BAが設定される。この計測位置BAは、車両9の右側に計測位置BR、車両9の左側に計測位置BLを備えている。この計測位置BAは車両9の進行に伴って車両9と同方向に移動する。また、画像M41では合成画像CQ1の俯瞰画像と関連付けて運転サポート画像PH1を表示する。なお、ユーザが戻るボタン203を操作すると計測開始位置の設定を解除して縦列駐車モードM4に遷移する。
画像M42は、合成画像CQ2で画像M41に示したユーザの操作による計測開始位置の設定に伴う計測位置BAが、車両9の進行後に伴って計測開始位置DAと接触した後に計測開始位置DAから離れた状態を示している。そして、計測位置BAが計測開始位置DAから離れたことで、駐車スペースの車両9の進行方向に沿った距離の計測を開始する。
つまり、車両9の右方向である他車両19の先端部の方向に延びる位置に固定された計測開始位置DRに、車両9の後端部の右方向に延びる線上の計測位置BRが接触して、計測開始位置DRから離れている。同時に、他車両19の先端部の左方向に延びる位置に固定された計測開始位置DLに、車両9の後端部の左方向に延びる線上の計測位置BLが接触した後、計測開始位置DLから離れている。そして、各計測位置が計測開始位置に接触して離れた直後に、距離の導出を開始する。
距離を導出している際の画像表示としては図中に示すように計測開始位置DRと計測位置BRとを結ぶ距離ラインLR、計測開始位置DLと計測位置BLとを結ぶ距離ラインLLとで表示される。これにより、ユーザは駐車スペースの距離の導出タイミングを知ることができ、距離の導出開始後のステアリングの不要な操作をなくすことで、正確な距離の導出が可能となる。また、ユーザは車両9の位置と駐車スペースとの位置関係を明確に把握できる。
また、画像M41は合成画像CQ2の俯瞰画像と関連付けて運転サポート画像PH1を表示する。なお、ユーザが戻るボタン203を操作すると計測開始位置の設定を解除して縦列駐車モードMAに遷移する。
画像M43は、合成画像CQ3で車両9の後端部の計測位置BAの位置と、他車両19の先端部の位置に固定した計測開始位置DAの位置との距離が予め定めた車両9の駐車に必要な距離以上となったことを示している。図中に示すように車両9の駐車に必要な距離になったことを示してユーザへ報知するために、距離ラインLR、LLの表示色を距離を計測中の場合と必要距離以上となった場合とで変更する。このような制御は、報知制御部14によりなされる。これにより、車両9の位置と駐車スペースとの位置関係を明確にして、駐車スペースの距離を精度よくユーザへ知らせることができる。この計測している距離が必要距離以上となったことのユーザへの報知は、画像表示や音声出力などによってなされてもよい。
また、このように駐車スペースの車両9の進行方向に沿った距離が車両9の駐車に必要な距離となった場合は、ユーザは画像M43に表示されている車両位置確定ボタン205を操作して、駐車スペースの選択及び駐車動作を開始する。これにより、ユーザは駐車に必要な距離となった車両9の位置からすぐに駐車動作を開始できる。
なお、画像M43では合成画像CQ3の俯瞰画像と関連付けて運転サポート画像PH3を表示する。このように画像処理装置100は、各合成画像と関連付けて運転サポート画像を出力してディスプレイ21に表示することで、駐車に必要な距離を導出する場合にユーザが行う運転操作を合成画像と一緒に確認できる。また、画像M4、画像M41、画像M42、及び、画像M43では各合成画像と関連付けて表示する運転サポート画像に合わせて運転操作のポイントを文字で表示し、必要な運転操作を表示している。なお、ユーザが戻るボタン203を操作すると計測開始位置の設定を解除して縦列駐車モードM4に遷移する。
<2.処理>
次に画像処理装置100の処理について説明する。図6は画像処理装置100の処理フローチャートである。画像処理装置100はユーザからの駐車支援ボタン201の操作信号を受信した場合(ステップS101がYes)、フロントモードM2の画像を出力してステップS103の処理へ進む。なお、画像処理装置100がユーザからの駐車支援ボタン201の操作信号を受信していない場合(ステップS101がNo)は、処理を終了する。
ステップS103では、画像処理装置100がユーザからの縦列駐車ボタン202の操作信号を受信した場合(ステップS103がYes)、縦列駐車モードM4の画像を出力して(ステップS104)、ステップS105の処理へ進む。なお、縦列駐車ボタン202の操作信号を画像処理装置100が受信していない場合(ステップS103がNo)は、フロントモードM2の画像出力を継続する。
ステップS105では、ユーザの操作による指標MAを用いた計測開始位置DAの設定信号を画像処理装置100が受信している場合(ステップS105がYes)は、指標MAの地点を計測開始位置DAとして設定して(ステップS106)ステップS107の処理へ進む。
なお、画像処理装置100が計測開始位置DAの設定信号を受信していない場合(ステップS105がNo)の場合は縦列駐車モードM4の画像を継続して表示する。なお、ユーザの操作に応じてフロントモードM2や縦列駐車モードM4などの他の画像に切り替えるようにしてもよい。
ステップS107では、ユーザの選択により計測開始位置を設定したことに伴い、車両9の特定部位に基づいて計測位置BAを出力するステップS107)。計測位置BAは、例えば車両9の後端部から車両9の左右方向に延びる線上のポイントを表示する指標である。
そして、画像処理装置100は、車両9の進行に伴い車両9の後端部に表示された計測位置BAがユーザの選択した地点に固定された計測開始位置DAと接触した後に、計測開始位置DAから離れたことを検出した場合(ステップS108がYes)に、計測開始位置DAから計測位置BA間の距離の計測を開始する(ステップS109)。
そして、更なる車両9の移動により、計測距離が所定の距離以上(例えば、車両9の全長の1.5倍以上)となった場合(ステップS110がYes)、画像処理装置100は、計測距離が所定の距離以上となったことを画像や音声でユーザへ報知して(ステップS111)、ステップS112の処理へ進む。
なお、ステップS108において、計測位置BAが計測開始位置DAから離れたことを検出していない場合(ステップS108)は、距離の計測は開始せずに縦列駐車モードM4において、ほぼリアルタイムの画像を出力する。
さらに、ステップS110において、計測距離が所定の距離以上となっていない場合は、距離の計測を継続して行う。なお、ユーザの操作に応じてフロントモードM2や縦列駐車モードM4などの他の画像に切り替えるようにしてもよい。
ステップS112の処理では、車両9の駐車に必要な距離となったことをユーザが確認して、ユーザが車両位置確定ボタン205を操作したことによる車両位置確定信号を画像処理装置100が受信した場合(ステップS113がYes)は、ユーザの操作により距離の計測が完了した領域を車両9の駐車領域として設定する駐車領域設定画像を出力する。
この駐車領域の設定は一辺が車両9の全長の約1.5倍の長さで、他辺が車両9の車幅の約1.2倍の長さを有する略長方形の領域をユーザの操作により車両9を駐車する駐車スペースの位置に設定する。なお、ステップ112において、画像処理装置100が車両位置確定信号を受信していない場合(ステップS112がNo)は、そのままの画像を表示する。なお、ユーザの操作に応じてフロントモードM2や縦列駐車モードM4などの他の画像に切り替えるようにしてもよい。
そして、ユーザが駐車領域を設定した旨の信号を画像処理装置100が受信した場合(ステップS114がYes)、画像処理装置は、画像や音声を用いてユーザが駐車スペースへ車両9を駐車する運転操作を支援する駐車支援画像を出力して(ステップS115)、ステップS116の処理へ進む。この駐車支援画像の例としては、車両を後退させる際のガイド線やステアリングを操作する位置や角度を指示するものである。
なお、ステップS114において、ユーザの操作による駐車位置確定した旨の信号を画像処理装置100が受信していない場合(ステップS114がNo)は、そのままの画像を表示する。なお、ユーザの操作に応じてフロントモードM2や縦列駐車モードM4などの他の画像に切り替えるようにしてもよい。
ステップS116では、ユーザの駐車動作により車両9の車両全体がステップS114で設定した駐車領域内に移動した場合に、ナビゲーション装置20などからの車両9の一情報による駐車完了信号を画像処理装置100が受信した場合(ステップS116)、画像処理装置100は、駐車が完了したことを画像や音声によりユーザへ報知する(ステップS117)。
なお、駐車完了信号を画像処理装置100が受信していない場合(ステップS116がNo)は、駐車支援画像の出力を継続する。なお、ユーザの操作に応じてフロントモードM2や縦列駐車モードM4などの他の画像に切り替えるようにしてもよい。
<第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の縦列駐車モードM5では、ユーザの操作により指標MAが計測開始位置DAとして設定された場合に、第1の実施の形態では車両9の後端部に位置していた計測位置BAを、車両9の先端部に設けている。第2の実施の形態の画像表示システム120の構成及び処理は、第1の実施の形態とほぼ同様であるが、一部相違する。このため以下、相違点を中心に説明する。
図7は第2の実施の形態の縦列駐車モードM4aを説明する図である。なお、以下では縦列駐車モードM4a、M41a、M42a、M43aを画像M4a、画像41a、画像42a、及び、画像43aともいう。
画像処理装置100は、フロントモードM2の縦列駐車ボタン202がユーザにより操作された信号を受信した場合、画像M4aを出力する。
画像M4aは、合成画像CQ10で指標MA(指標MR及びML)を車両9の先端部に表示し、車両9の進行に伴い指標MAは他車両19の方向に進行している。
画像M41aは、合成画像CQ11で指標MAが他車両19の先端部に位置しており、ユーザが地点設定ボタン204を操作すると、指標MAは計測開始位置DAとしてその地点に固定される。
また、ユーザの地点設定ボタン204の選択による計測開始位置の設定に伴い、車両9の先端部に計測位置BAaが設定される。なお、この計測位置BAaは車両9の右側の計測位置を計測位置BRa、車両9の左側の計測位置を計測位置BLaとして備える。この計測位置BAaは車両9の進行に伴って同方向に移動する。
画像M42aは、合成画像CQ12でユーザの操作による計測開始位置DAの設定に伴う計測位置BAaが、車両9の進行に伴って計測開始位置DAと接触した後に計測開始位置DAから離れた状態を示している。そして、計測位置BAaが計測開始位置DAをから離れたことで、駐車スペースの車両9の進行方向に沿った距離の計測を開始する。
つまり、車両9の右方向である他車両19の先端部の方向に延びる位置に固定された計測開始位置DRに、車両9の先端部の右方向に延びる線上の計測位置BRaが接触して、計測開始位置DRから離れている。同時に、他車両19の先端部の左方向に延びる位置に固定された計測開始位置DLに、車両9の後端部の左方向に延びる線上の計測位置BLaが接触した後、計測開始位置DLから離れている。そして、各計測位置が計測開始位置に接触して離れた直後に、距離の導出を開始する。
距離を導出している際の画像表示としては図中に示すように計測開始位置DRと計測位置BRとを結ぶ距離ラインLRa、計測開始位置DLと計測位置BLとを結ぶ距離ラインLLaとで表示される。これにより、ユーザは距離を導出している間に、車両9の移動に伴って駐車スペースの状態を目視で確認できる。
画像43aでは、図中に示すように車両9の駐車に必要な距離になったことをユーザへ報知するために、距離ラインLRa、LLaの表示色を距離を計測中の場合と必要距離以上となった場合とで変更されている。
<変形例>
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。
上記の実施の形態では、ユーザが車両9を駐車するスペースの距離を測定する場合について述べたが、駐車スペース以外に、ユーザの任意の区間の距離を測定することもできる。この場合、ユーザの操作によりナビゲーション装置20のディスプレイ21に表示される表示中に車両9の周辺領域におけるユーザの任意の区間の始点となる位置に第1基準位置を位置設定制御部12が設定をする。
次に、第1基準位置の設定に伴い、位置設定制御部12は車両9の特定部位に基づく第2基準位置を設定する。そして、距離導出制御部13が第1基準位置と第2基準位置との距離である第1距離を導出する。
次に、車両9の移動によって変化する第1距離に関する情報を報知制御部14が画像や音声により報知する。例えば、ユーザへの報知は車両9の移動によってディスプレイ21に距離の表示をするなどである。これにより、車両9のユーザが任意の位置からの距離の計測を行いたい場合に正確に計測することができる。
上記の実施の形態では、縦列駐車の場合の処理について述べたが、これらの各実施の形態の内容を並列駐車の場合に適用することも可能である。
また、上記の実施の形態では車両9の先端部から左右方向に延びる線上の指標である指標MAは車両の右側の指標MRと車両の左側の指標MLについて述べたが、予めユーザの選択により車両9を駐車させる方向が右か左か決定されている場合は、ユーザが選択した方向に指標を表示する。つまり、ユーザの選択が右側の場合は車両右側の指標MRをディスプレイ21に表示し、ユーザの選択が左側の場合は指標MLをディスプレイ21に表示する。
さらに、ユーザにより車両9を駐車させる方向が選択された場合に表示される指標と同じ方向で計測開始位置を設定し、計測開始位置の設定に伴う計測位置も同じ方向に表示する。つまり、車両9の右側が選択された場合は指標MRを表示し、ユーザが指標MRの計測開始位置を設定すると、指標MRと同じ車両9の右側に計測開始位置DRを表示する。そして、計測開始位置設定に伴い、車両9の右側に計測位置BR(またはBRa)を表示して距離の計測を行う。
さらに、車両9の左側が選択された場合は、指標MLを表示し、ユーザが指標MLの計測開始位置を設定すると、指標MLと同じ車両9の左側に計測開始位置DLを表示する。そして、計測開始位置設定に伴い、車両9の左側に計測位置BLaを表示して距離の計測を行う。
また、指標MAの位置は、ユーザの操作で車両9の先端部以外の位置に移動させて計測開始位置DAを設定することも可能である。
さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。
1・・・・制御部
3・・・・画像生成部
5・・・・撮影部
20・・・ナビゲーション装置
40・・・不揮発性メモリ
41・・・信号入力部
42・・・ナビ通信部
81・・・シフトセンサ
82・・・車速センサ
83・・・方向指示器

Claims (10)

  1. 車両に搭載される画像表示システムであって、
    前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
    前記俯瞰画像を表示する表示手段と、
    前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第1基準位置を設定する設定手段と、
    前記車両の特定部位に基づく第2基準位置と前記第1基準位置との距離である第1距離を導出する導出手段と、
    前記車両の移動によって変化する前記第1距離に関する情報を前記ユーザに報知する報知手段と、
    を備えることを特徴とする画像表示システム。
  2. 請求項1に記載の画像表示システムにおいて、
    前記報知手段は、前記車両の移動により前記第1距離が前記車両の駐車に必要な第2距離以上となった場合に前記ユーザに報知すること、
    を特徴とする画像表示システム。
  3. 請求項1または2に記載の画像表示システムにおいて、
    前記表示手段は、前記第1基準位置を設定する場合において、前記車両の先端部から前記車両の左右方向に延びる線上のポイントを指標で表示することを特徴とする画像表示システム。
  4. 請求項1乃至3のいずれかに記載の画像表示システムにおいて、
    前記導出手段は、前記車両の後端部に基づく位置である第2基準位置と前記第1基準位置との距離である第1距離を導出すること、
    を特徴とする画像表示システム。
  5. 請求項1乃至3のいずれかに記載の画像表示システムにおいて、
    前記導出手段は、前記車両の先端部に基づく位置である第2基準位置と前記第1基準位置との距離である第1距離を導出すること、
    を特徴とする画像表示システム。
  6. 請求項1乃至5のいずれかに記載の画像表示システムにおいて、
    前記導出手段は、前記車両の進行に伴い移動する前記第2基準位置が前記第1基準位置と接触した後に前記第1基準位置から離れた場合に前記第1距離の導出を開始すること、
    を特徴とする画像表示システム。
  7. 請求項1乃至6のいずれかに記載の画像表示システムにおいて、
    前記表示手段は、前記第1距離の導出に必要となるユーザの運転操作情報を前記俯瞰画像と関連付けて表示すること、
    を特徴とする画像表示システム。
  8. 車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
    前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
    前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、
    前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第1基準位置を設定する設定手段と、
    前記車両の特定部位に基づく第2基準位置と前記第1基準位置との距離である第1距離を導出する導出手段と、
    前記車両の移動によって変化する前記第1距離に関する情報を前記ユーザに報知する報知手段と、
    を備えることを特徴とする画像処理装置。
  9. 車両に搭載される画像表示方法であって、
    前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、
    前記俯瞰画像を表示する工程と、
    前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第1基準位置を設定する工程と、
    前記車両の特定部位に基づく第2基準位置と前記第1基準位置との距離である第1距離を導出する工程と、
    前記車両の移動によって変化する前記第1距離に関する情報を前記ユーザに報知する工程と、
    を備えることを特徴とする画像表示方法。
  10. 車両に搭載される画像表示システムであって、
    前記車両に配置されたカメラで得られる撮影画像から生成される前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を表示装置に出力して表示させる出力手段と、
    前記俯瞰画像に示される前記車両の周辺領域に相対固定される第1基準マークと、前記俯瞰画像に示される前記車両に相対固定される第2基準マークとを、前記俯瞰画像に重畳する重畳手段と、
    前記車両の移動により、前記第1基準マークと前記第2基準マークとの距離が所定距離以上になると前記ユーザに報知する報知手段と、
    を備えることを特徴とする画像表示システム。
JP2010191922A 2010-08-30 2010-08-30 画像表示システム、画像処理装置、および、画像処理方法 Active JP5643028B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010191922A JP5643028B2 (ja) 2010-08-30 2010-08-30 画像表示システム、画像処理装置、および、画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010191922A JP5643028B2 (ja) 2010-08-30 2010-08-30 画像表示システム、画像処理装置、および、画像処理方法

Publications (2)

Publication Number Publication Date
JP2012046125A true JP2012046125A (ja) 2012-03-08
JP5643028B2 JP5643028B2 (ja) 2014-12-17

Family

ID=45901508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010191922A Active JP5643028B2 (ja) 2010-08-30 2010-08-30 画像表示システム、画像処理装置、および、画像処理方法

Country Status (1)

Country Link
JP (1) JP5643028B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003252151A (ja) * 2002-03-06 2003-09-10 Auto Network Gijutsu Kenkyusho:Kk 駐車支援システム
JP2004314781A (ja) * 2003-04-16 2004-11-11 Yazaki Corp 駐車支援装置
JP2005012465A (ja) * 2003-06-18 2005-01-13 Denso Corp 車両用周辺表示装置
JP2007091047A (ja) * 2005-09-29 2007-04-12 Clarion Co Ltd 車両駐車支援装置
JP2007091046A (ja) * 2005-09-29 2007-04-12 Clarion Co Ltd 車両駐車支援装置
JP2008275380A (ja) * 2007-04-26 2008-11-13 Toyota Motor Corp 車両周辺監視装置
JP2010069916A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両運転支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003252151A (ja) * 2002-03-06 2003-09-10 Auto Network Gijutsu Kenkyusho:Kk 駐車支援システム
JP2004314781A (ja) * 2003-04-16 2004-11-11 Yazaki Corp 駐車支援装置
JP2005012465A (ja) * 2003-06-18 2005-01-13 Denso Corp 車両用周辺表示装置
JP2007091047A (ja) * 2005-09-29 2007-04-12 Clarion Co Ltd 車両駐車支援装置
JP2007091046A (ja) * 2005-09-29 2007-04-12 Clarion Co Ltd 車両駐車支援装置
JP2008275380A (ja) * 2007-04-26 2008-11-13 Toyota Motor Corp 車両周辺監視装置
JP2010069916A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両運転支援装置

Also Published As

Publication number Publication date
JP5643028B2 (ja) 2014-12-17

Similar Documents

Publication Publication Date Title
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP5743652B2 (ja) 画像表示システム、画像生成装置及び画像生成方法
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP5087051B2 (ja) 画像生成装置及び画像表示システム
JP5681569B2 (ja) 情報処理システム、サーバ装置、および、車載装置
JP5765995B2 (ja) 画像表示システム
WO2011010346A1 (ja) 運転支援装置
JP5914114B2 (ja) 駐車支援装置、及び駐車支援方法
JP2012073836A (ja) 画像表示システム、画像処理装置、および、画像表示方法
JP2011135253A (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
JP6760122B2 (ja) 周辺監視装置
JP2011131678A (ja) 画像処理装置、画像処理システム、および、画像処理方法
US20200317267A1 (en) Parking assistance device
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2012046124A (ja) 画像表示システム、画像処理装置、および、画像表示方法
JP5651491B2 (ja) 画像表示システム、画像表示装置、及び、画像表示方法
JP5677168B2 (ja) 画像表示システム、画像生成装置及び画像生成方法
JP5643028B2 (ja) 画像表示システム、画像処理装置、および、画像処理方法
JP4457664B2 (ja) 駐車支援装置
JP2019014276A (ja) 連結作業支援装置
JP2012061954A (ja) 画像表示システム、画像処理装置、および、画像表示方法
JP5466743B2 (ja) 画像生成装置及び画像表示システム
JP2007161193A (ja) 駐車支援装置
JP6130625B2 (ja) 車両運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141030

R150 Certificate of patent or registration of utility model

Ref document number: 5643028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250