JP2013211035A - 車両周辺表示装置 - Google Patents
車両周辺表示装置 Download PDFInfo
- Publication number
- JP2013211035A JP2013211035A JP2013105974A JP2013105974A JP2013211035A JP 2013211035 A JP2013211035 A JP 2013211035A JP 2013105974 A JP2013105974 A JP 2013105974A JP 2013105974 A JP2013105974 A JP 2013105974A JP 2013211035 A JP2013211035 A JP 2013211035A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- host vehicle
- display device
- periphery display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】自車両の前方から自車両を見た状態を示す画像における左右と実際の左右との対応関係を明示しつつ、この対応関係をより直感的に理解可能な合成画像を表示することのできる車両周辺表示装置を提供する。
【解決手段】周辺画像生成部21は、右方画像、左方画像、及び後方画像を用いて、自車両の前進方向前方に視点を置いて自車両の方向をみた周辺画像を正像にて生成する。正像自車両イラスト画像生成部22は、自車両の車体情報及び運転情報に基づいて、左右非対称な部分及び左右非対称な文字を含み、且つ、左右非対称に動作する部分の動作を示す自車両イラスト画像を正像にて生成する。合成画像出力部23は、自車両イラスト画像及び周辺画像を正像のまま合成し、次いで、合成後の画像を鏡像とすることで周辺画像(鏡像)と自車両イラスト画像(鏡像)とを重畳した合成画像を生成する。そして、この生成した合成画像をモニタ30に出力する。
【選択図】図1
【解決手段】周辺画像生成部21は、右方画像、左方画像、及び後方画像を用いて、自車両の前進方向前方に視点を置いて自車両の方向をみた周辺画像を正像にて生成する。正像自車両イラスト画像生成部22は、自車両の車体情報及び運転情報に基づいて、左右非対称な部分及び左右非対称な文字を含み、且つ、左右非対称に動作する部分の動作を示す自車両イラスト画像を正像にて生成する。合成画像出力部23は、自車両イラスト画像及び周辺画像を正像のまま合成し、次いで、合成後の画像を鏡像とすることで周辺画像(鏡像)と自車両イラスト画像(鏡像)とを重畳した合成画像を生成する。そして、この生成した合成画像をモニタ30に出力する。
【選択図】図1
Description
本発明は、自車両の前方から自車両方向を見た状態を示す画像に自車両のイラスト画像を重畳表示する車両周辺表示装置に関する。
従来、この種の車両周辺表示装置として、例えば特許文献1に記載の装置が知られている。この特許文献1に記載の車両周辺表示装置では、車載撮像装置は、運転者の死角にあたるブラインドスポットを含めた車両の後方を撮像し、この撮像された周辺画像に自車両イラスト画像を重畳表示する。これにより、周辺画像に重畳表示された自車両イラスト画像が周辺画像における自車両の位置を示すことから、自車両の周辺(後方)に位置する他車と自車両との距離感が得られるようになる。そのため、例えばレーンチェンジ、分岐、合流等において有用である。
また、特許文献2に記載の装置が知られている。この特許文献2に記載の車両周辺表示装置では、車載撮像装置によって撮像された周辺画像を俯瞰画像に変換するとともにこの変換された俯瞰画像に自車両の上方からみて左右対称な自車両イラスト画像を重畳表示し、自車両のウインカーの点滅やライトの点灯等の車両状態に応じて自車両のイラスト画像を変化させる。この俯瞰画像が表示されることにより、運転者は、車両とその周辺に存在する障害物等の物体との距離関係を容易に把握できる。また、俯瞰画像に表示する自車両のイラスト画像を自車両のウインカーの点滅やライトの点灯等の車両状態に応じて変化させることから、俯瞰画像が、車両上方から実際に自車両を見下ろした状況により近い画像となる。
しかしながら、上記特許文献1、2に記載の装置では、自車両のイラスト画像を手がかりに、自車両の周辺を直感的に理解することは難しい。
本発明は、上記実情に鑑みてなされたものであって、その目的は、自車両の周辺をより直感的に理解可能な周辺画像を表示することのできる車両周辺表示装置を提供することにある。
こうした目的を達成するため、請求項1に記載の発明では、自車両の車両名を外部記憶部から取得し(第1ステップ)、取得した車両名に基づいて自車両の画像を生成する(第2ステップ)。また、自車両に搭載された右方撮像装置、左方撮像装置、後方撮像装置の少なくとも3つの撮像装置で撮像した画像を合成して周辺画像を生成する(第3ステップ)。そして、第2ステップで生成した自車両の画像と、第3ステップで生成した周辺画像とに基づいた合成画像を生成して表示部に出力する(第4ステップ)。
請求項2に記載の発明では、表示部に表示する合成画像に含まれる周辺画像を、自車両の前進方向前方においた視点から実際に自車両の方向を見た場合の鏡像としている。これにより、運転席の前方に配置された表示部に合成画像を表示した場合に、その合成画像に含まれる周辺画像における左右と、実際の左右すなわち運転者にとっての左右とが一致する。したがって、周辺画像における左右と実際の左右との対応関係を直感的に容易に理解することができるようになる。
また、周辺画像に重畳する自車両イラスト画像は、その自車両イラスト画像を左右方向の中心で分割する左右方向中心線を基準として左右非対称な部分を含んでいる。自車両イラスト画像が左右非対称な部分を含むので、自車両イラスト画像からも左右を判断することができ、また、自車両イラスト画像も鏡像となっているので、自車両のイラスト画像の左右と実際の左右とが一致する。この自車両イラスト画像を手がかりにすることでも、自車両の運転者は、周辺画像における左右と実際の左右との対応関係を直感的に容易に理解することができるようになる。
このように、請求項2に記載の発明によれば、自車両の前方から自車両方向を見た状態を示す画像における左右と実際の左右との対応関係を明示しつつ、この対応関係をより直感的に理解可能な周辺画像を表示することができるようになる。
なお、合成画像は、自車両の前方に置いた視点から自車両方向を見た画像(正像)及びその視点から見た自車両を示すイラスト画像(正像)を合成した後に、合成後の画像を鏡像とすることで生成してもよいし、周辺画像(鏡像)と自車両イラスト画像(鏡像)とを別々に生成してそれらを合成することで生成してもよい。
また、自車両イラスト画像に含まれる左右非対称な部分としては、たとえば、ハンドル及、補助ミラー、アンテナ、運転者がある。また、各文字の左右方向中心線を基準として左右非対称な文字(たとえば、ナンバープレートのナンバー、自車両の車名など)を自車両イラスト画像に含ませる左右非対称な部分としてもよい。そして、これらを1つのみ含んでいてもよいし、複数含んでいてもよい。
自車両イラスト画像は、請求項3のように、左右非対称な部分が強調された画像であることが好ましい。このようにすると、自車両イラスト画像の左右と実際の左右とが一致することが、より直感的に理解し易くなる。
なお、左右非対称な部分が強調された画像としては、たとえば、自車両イラスト画像の各部のうち左右非対称な部分及びその隣接する部分が同一の色相を有し、左右非対称な部分の彩度がその隣接する部分の彩度よりも高い画像や、自車両イラスト画像の各部のうち左右非対称な部分及びその隣接する部分が同一の色相を有し、左右非対称な部分の明度がその隣接する部分の明度よりも高い画像がある。
また、請求項4のように、周辺画像が左右対称であると判断された場合に、左右非対称な部分が強調された自車両イラスト画像を用いることが効果的である。周辺画像が左右対称である場合、周辺画像から、合成画像の左右と実際の左右との対応関係を理解することが難しい。しかし、請求項4のようにすれば、周辺画像から、合成画像の左右と実際の左右との対応関係を理解することが難しくても、自車両イラスト画像により、自車両イラスト画像を含んでいる合成画像の左右を直感的に把握することが容易になる。
周辺画像が左右対称となる場合としては、例えば自車両が複数レーンのうち中央のレーンを走行している場合がある。そこで、左右対称判断部は、請求項5のように、自車両の位置が複数レーンのうち中央レーンであると判断した場合に、周辺画像が左右対称であると判断する。
また、請求項6のように、左右対称判断部は、周辺画像の左右対称度が所定閾値よりも高いと判断した場合に、周辺画像が左右対称であると判断してもよい。
また、自車両イラスト画像生成部は、左右非対称な部分が強調された自車両イラスト画像として、請求項7のように、左右非対称な部分が点滅している自車両イラスト画像を生成してもよい。
また、請求項8のように、自車両の運転情報に基づいて、自車両イラスト画像の左右方向中心線に対して左右非対称に動作する部分の動作を示す自車両イラスト画像を生成してもよい。
これにより、実際の車両において左右非対称に動作する部分が動作する場合には、その動作を示す自車両イラスト画像が表示部に表示されるため、合成画像における左右と実際の左右との対応関係をより一層明確に明示することができるようになり、運転者の理解を一層助けることができるようになる。
なお、運転情報は、たとえば請求項9のように、ワイパーブレードによるウインドの払拭が行なわれているか否かに関する情報であり、この場合、自車両イラスト画像生成部は、ワイパーブレードによるウインドの払拭が行なわれている場合に、左右非対称に動作する部分の動作として、ワイパーブレードの払拭動作を示す自車両イラスト画像を生成する。
あるいは、運転情報は、請求項10のように、ウインカーランプの点滅制御が行なわれているか否かに関する情報であり、この場合、自車両イラスト画像生成部は、ウインカーランプが点滅動作が行なわれている場合に、左右非対称に動作する部分の動作として、ウインカーランプの点滅動作を示す自車両イラスト画像を生成する。
ちなみに、自車両イラスト画像生成部は、ワイパブレードの払拭動作を制御するワイパ制御装置やウインカーランプの点滅を制御するメータECU等から上記自車両の運転情報を取得することができる。
なお、自車両イラスト画像を都度生成することは必須ではなく、予め自車両イラスト画像を生成し適宜の記憶部に記憶しておき、記憶部に記憶されている自車両イラスト画像を用いて合成画像を生成してもよい。これにより、合成画像を表示する際に自車両イラスト画像を生成するよりも演算負荷を軽減することができるようになる。
また、請求項11のように、自車両イラスト画像は、左右非対称な部分としてハンドルを含んでいることが好ましい。
以下、本発明に係る車両周辺表示装置の一実施の形態について、図1〜図4を参照しつつ説明する。
図1及び図2に示されるように、自車両Cには、車両周辺表示装置1、車載撮像装置10、及び表示スイッチ40が搭載されている。
このうち、車載撮像装置10は、自車両Cの前進方向を基準として右方のサイドミラーに配置されて自車両Cの右方を撮像する右方撮像装置10a、自車両Cの前進方向を基準として左方のサイドミラーに配置されて自車両Cの左方を撮像する左方撮像装置10b、及び自車両Cの前進方向を基準としてリアウインドの上部に配置されて自車両Cの後方を撮像する後方撮像装置10cの少なくとも3つの車載撮像装置を有して構成されている。以下、これら右方撮像装置10a、左方撮像装置10b、及び後方撮像装置10cを総称する場合には車載撮像装置10と記載する。
車載撮像装置10は広角レンズによって撮像範囲が広角に設定された公知のCCDカメラによって構成されており、自車両Cの運転者の死角にあたるいわゆるブラインドスポットも車載撮像装置10の撮像範囲に含まれている。なお、右方撮像装置10aの配置位置については、右方のサイドミラーに限らず、自車両Cの右方を撮像することができれば任意である。また、左方撮像装置10bの配置位置についても、左方のサイドミラーに限らず、自車両Cの左方を撮像することができれば任意である。また、後方撮像装置10cの配置位置についても、自車両Cのリアウインド上部に限らず、自車両Cの後方を撮像することができれば任意である。
車載撮像装置10は車両周辺表示装置1(詳しくは、後述の表示制御部20)に接続されており、自車両Cの右方の画像である右方画像が右方撮像装置10aから表示制御部20へ出力され、自車両Cの左方の画像である左方画像が左方撮像装置10bから表示制御部20へ出力され、自車両Cの後方の画像である後方画像が後方撮像装置10cから表示制御部20へ出力される。
車両周辺表示装置1は、表示制御部20及びモニタ30を有して構成されている。表示制御部20は、公知のCPU及び内蔵メモリを有して構成されるコンピュータであり、そのCPUが内蔵メモリに記憶されているプログラムを実行することによって各種機能を実現している。以下の説明では、便宜上、表示制御部20は、周辺画像生成部21と、正像自車両イラスト画像生成部22と、合成画像出力部23とを有するものとして説明する。
また、表示制御部20は、車載撮像装置10、モニタ30、及び表示スイッチ40と車載LANによって接続されているだけでなく、自車両Cのウインカーランプを点滅制御するメータECU、自車両Cのワイパーブレードの払拭動作を制御するワイパ制御ECU、及び、自車両Cの車体情報として自車両Cにおけるハンドルの配置位置の情報を記憶するとともに自車両Cの車両名も記憶する外部記憶部(いずれも図示略)とも車載LANによって接続されている。
周辺画像生成部21は、右方撮像装置10aによって撮像された右方画像、左方撮像装置10bによって撮像された左方画像、及び後方撮像装置10cによって撮像された後方画像を用いて、自車両Cの前進方向前方に視点を置いて自車両Cの方向をみた正像の周辺画像を生成する。
具体的には、周辺画像生成部21は、まず、右方撮像装置10aの視点、左方撮像装置10bの視点、及び後方撮像装置10cの視点を自車両C上方の1点にマップを用いて変換する。換言すれば、周辺画像生成部21は、まず、右方画像、左方画像、及び後方画像を用いて、自車両C上方の1点から自車両Cを含む俯瞰画像を生成する。次に、周辺画像生成部21は、自車両Cの上方に変換された視点を自車両Cの前進方向前方にマップを用いて変換する。換言すれば、上記俯瞰画像を用いて、自車両Cの左方、後方、及び右方を連続的に含む周辺画像(いわゆるパノラマ画像)を生成する。こうした視点変換については、例えば特許第3286306号公報に記載された公知の視点変換を用いることができる。
なお、本実施の形態では、周辺画像生成部21は、右方画像、左方画像、及び後方画像をマップを用いて俯瞰画像を一旦生成し、その生成した俯瞰画像をマップを用いて周辺画像を生成していた。換言すれば、周辺画像生成部21は、2つのマップを用いて、右方画像、左方画像、及び後方画像から俯瞰画像を経由して周辺画像を生成していたが、これに限らない。右方画像、左方画像、及び後方画像から、俯瞰画像を経由することなく、周辺画像を直接生成してもよい。この場合、上記2つのマップを統合した単一のマップを用いることになる。
正像自車両イラスト画像生成部22は、自車両Cの車体情報に基づいて、自車両の前方に置いた視点から見た自車両を正像にて示す自車両イラスト画像(正像)を生成する。この自車両イラスト画像(正像)は、その自車両イラスト画像(正像)を左右方向の中心で分割する左右方向中心線(車幅方向の中心を通り且つ車幅方向に垂直な線)を対称軸として線対称ではない左右非対称な部分(以下、単に左右非対称な部分とも記載する)と、各文字の左右方向中心線を基準として左右非対称な文字(以下、単に左右非対称な文字とも記載する)を含んでいる。
ここで、上記左右非対称な部分とは、具体的には、自車両Cの運転席に配置されるハンドル及び自車両Cの車体のうち運転席の配置側と逆側にのみ配置されることの多い補助ミラーである。また、上記左右非対称な文字とは、具体的には、自車両Cの車両名である。そして、こうした左右非対称な部分及び左右非対称な文字を含む正像の自車両イラスト画像を生成するべく、正像自車両イラスト画像生成部22は上記外部記憶部から車体情報及び車両名を取得する。
なお、本実施の形態では、上記左右非対称な部分としてハンドル及び補助ミラーを採用したが、いずれか一方のみを採用してもよい。あるいは、自車両Cの車体のうちハンドル配置側にのみ配置されることの多いアンテナや、自車両Cの運転席に着座する運転者自身を採用してもよい。また、本実施の形態では、上記左右非対称な文字として自車両Cの車両名を採用したが、自車両Cの自動車登録番号を採用してもよい。さらに、正像自車両イラスト画像生成部22は、上記左右非対称な文字として自車両Cの自動車登録番号や車両名を、ナンバープレートに有する自車両イラスト画像を生成してもよく、上記左右非対称な文字として自車両Cの車両名を、自車両のボデーに有する自車両イラスト画像(正像)を生成してもよい。
また、正像自車両イラスト画像生成部22は、自車両Cの運転情報に基づいて、自車両Cの各部のうち左右方向中心線に対して左右非対称に動作する部分(以下、単に左右非対称に動作する部分とも記載する)の動作を自車両イラスト画像(正像)に反映させる。
ここで、上記左右非対称に動作する部分の動作とは、具体的には、ワイパーブレードの払拭動作、及び、自車両Cの右左折やレーンチェンジ時のウインカーランプの点滅動作である。こうした左右非対称に動作する部分の動作を示す自車両イラスト画像を生成するべく、正像自車両イラスト画像生成部22は、上記運転情報として、ウインカーランプの点滅制御が行なわれているか否かに関する情報を上記メータECUから取得したり、ワイパーブレードによるウインドの払拭が行なわれているか否かに関する情報を上記ワイパ制御ECUから取得したりする。
合成画像出力部23は、上記正像自車両イラスト画像生成部22によって生成された自車両イラスト画像(正像)が上記周辺画像生成部21によって生成された周辺画像(正像)の幅方向の中央で且つ周辺画像の高さ方向下方に重畳するように、これら自車両イラスト画像及び周辺画像をそれぞれ正像のまま合成し、次いで、合成後の画像を鏡像とすることで、周辺画像(鏡像)と自車両イラスト画像(鏡像)とを重畳した合成画像を生成する。そして、この合成画像をモニタ30に出力する。
モニタ30は、自車両Cの運転者が視認可能なように、車室内において運転席の前方に配置されるLCDであり、表示制御部20から出力された合成画像を画面表示する。このようにしてモニタ30に表示される合成画像は、いわば、自車両Cの前方に巨大な鏡を配置して自車両Cの車室内からその鏡を介して自車両C及びその後方をみた画像となる。なお、本実施の形態では、車両周辺表示装置1は合成画像を画面表示する専用のLCDをモニタ30として備えることとしたがこれに限らない。例えばナビゲーション装置が自車両Cに搭載されている場合等においては、ナビゲーション装置のモニタを利用してもよい。また、LCDでなくてもよく、適宜の画面表示機を採用することができる。また、モニタ30が特許請求の範囲に記載の表示部に相当する。
表示スイッチ40は、自車両Cの運転者によって操作される公知のスイッチである。この表示スイッチ40は、オン操作されると、車両周辺表示装置1(詳しくは表示制御部20)に対して合成画像の表示要求を出力し、この表示要求を受けた表示制御部20は、合成画像をモニタ30に画面表示する。なお、表示制御部20によって実行される表示処理については図4を参照しつつ後述する。
図3に、モニタ30に画面表示される合成画像の一例を示す。この図3に示されるように、モニタ30には、境界線L1及びL2を有する合成画像が画面表示されており、境界線L1よりも図3において右方における領域には周辺画像のうち右方画像に相当する部分が画面表示され、境界線L2よりも図3において左方における領域には周辺画像のうち左方画像に相当する部分が画面表示され、境界線L1及びL2に挟まれる領域には周辺画像のうち後方画像に相当する部分が画面表示されている。なお、本実施の形態では、合成画像出力部23は、これら境界線L1及びL2を含めて自車両イラスト画像及び周辺画像を合成したが、これら境界線L1及びL2を含めることなく自車両イラスト画像及び周辺画像を合成してもよい。
また、モニタ30には、「7[m]」として表示される距離線L3及び「30[m]」として表示される距離線L4を有する合成画像が画面表示されている。ちなみに、右方画像における位置と右方撮像装置10aを搭載する自車両Cからの離間距離とを予め対応付け、左方画像における位置と左方撮像装置10bを搭載する自車両Cからの離間距離とを予め対応付け、後方画像における位置と後方撮像装置10cを搭載する自車両Cからの離間距離とを予め対応付けることにより、こうした距離線L3及びL4を表示することができるが、こうした技術は公知であるため、ここでのこれ以上詳しい説明を割愛する。なお、本実施の形態では、合成画像出力部23は、距離線L3及びL4を含めて自車両イラスト画像及び周辺画像を合成したが、これら距離線L3及びL4を含めることなく自車両イラスト画像及び周辺画像を合成してもよい。
ここで、仮に、合成画像が正像のままモニタ30に画面表示されたとする。この場合、合成画像(正像)のうち左方画像に相当する部分がモニタ30において右方に画面表示され、合成画像(正像)のうち右方画像に相当する部分がモニタ30において左方に画面表示されることになる。これでは、上記課題の欄にも記載したように、合成画像(正像)において左方に位置する他車は実際には自車両Cの右方に位置し、合成画像(正像)において右方に位置する他車は実際には自車両Cの左方に位置する。つまり、合成画像(正像)における左右と実際の左右(運転者にとっての左右)とは反対であり、合成画像における左右と実際の左右との対応関係が自車両Cの運転者にとって直感的に理解し難くなってしまう。
しかしながら、本実施の形態では、図3に示したように、モニタ30に表示される合成画像は、自車両の前方から自車両方向を見た画像を鏡像とした画像であることから、合成画像において左方に位置する他車は実際にも自車両Cの左方に位置し、合成画像において右方に位置する他車は実際にも自車両Cの右方に位置する。つまり、合成画像における左右と実際の左右(運転者にとっての左右)とが一致する。そのため、合成画像における左右と実際の左右との対応関係が自車両Cの運転者にとって直感的に容易に理解することができるようになる。
また、仮に、周辺画像の重畳される自車両イラスト画像が左右対称であるとする。この場合、左右対称の自車両イラスト画像は、自車両Cの運転者が合成画像における左右と実際の左右との対応関係を理解するのに役に立たず、その対応関係を理解することはできない。
しかしながら、本実施の形態では、図3に示したように、モニタ30には、左右非対称の自車両イラスト画像が周辺画像に重畳された合成画像が画面表示される。たとえば、自車両Cのハンドルは合成画像において右方に位置する。また、自車両Cの補助ミラーは合成画像において左方に位置する。したがって、合成画像における左右と実際の左右(運転者にとっての左右)とが一致し、合成画像における左右と実際の左右との対応関係が自車両Cの運転者にとって直感的に容易に理解することができるようになる。また、自車両イラスト画像において自車両Cの車両名が鏡像の文字にて表示されることから、この自車両イラスト画像が鏡像であることも直ちに理解することができる。
以上説明した車両周辺表示装置1によって実行される表示処理S1について、図4を参照しつつ説明する。
車両周辺表示装置1は、表示処理S1を実行開始すると、まず、ステップS10の判断処理として、表示スイッチ40から合成画像の表示要求が入力されたか否かを判断する。なお、モニタ30に画面表示される合成画像は、レーンチェンジ、分岐、合流の際に有益であることから、これらレーンチェンジ、分岐、合流の際にオン操作されることが多い。
上記ステップS10の判断処理において、表示スイッチ40から表示要求が入力されたと判断されなかった場合(ステップS10の判断処理で「No」)、表示制御部20は、このステップS10の判断処理を再度実行し、表示スイッチ40から表示要求が入力されたか否かを判断する。このように、表示制御部20は、ステップS10の判断処理を繰り返し実行することにより、表示スイッチ40から表示要求が入力されるまで待機する。
上記ステップS10の判断処理において、表示スイッチ40から表示要求が入力されたと判断された場合(ステップS10の判断処理で「Yes」)、表示制御部20(詳しくは正像自車両イラスト画像生成部22)は、続くステップS20の処理として、上記車体情報(自車両Cにおけるハンドルの配置位置の情報)及び車両名を外部記憶部から取得し、上記運転情報(ウインカーランプの点滅制御が行なわれているか否かに関する情報、ワイパーブレードによるウインドの払拭が行なわれているか否かに関する情報)をメータECU及びワイパ制御ECUから取得する。これら各種情報を取得すると、表示制御部20は、続くステップS30の処理に移行する。
ステップS30の処理に移行すると、表示制御部20(詳しくは正像自車両イラスト画像生成部22)は、上記ステップS20の処理にて取得した各種情報に基づいて、ハンドル、補助ミラー、及び車両名を含み、且つ、ワイパーブレードの払拭動作及び自車両Cの右左折やレーンチェンジ時のウインカーランプの点滅動作を示す自車両イラスト画像を正像にて生成する。自車両イラスト画像を正像にて生成すると、表示制御部20は、続くステップS40の処理に移行する。
ステップS40の処理に移行すると、表示制御部20(詳しくは周辺画像生成部21)は、右方撮像装置10aから右方画像を取得し、左方撮像装置10bから左方画像を取得し、後方撮像画像10cから後方画像を取得する。これら各種画像を取得すると、周辺画像生成部21は、続くステップS50の処理に移行する。
ステップS50の処理に移行すると、表示制御部20(詳しくは周辺画像生成部21)は、上記ステップS40の処理にて取得した各種画像を用いて、自車両Cの前進方向前方に視点を置いて自車両Cの方向をみた正像の周辺画像(いわゆるパノラマ画像)を生成する。周辺画像を生成すると、周辺画像生成部21は、続くステップS60の処理に移行する。
ステップS60の処理に移行すると、表示制御部20(詳しくは合成画像出力部23)は、上記ステップS30の処理にて生成された自車両イラスト画像及び上記ステップS50の処理で生成された周辺画像をそれぞれ正像のまま合成し、次いで、合成後の画像を鏡像とすることで合成画像を生成する。そして、ステップS70の処理において、ステップS60で合成した合成画像をモニタ30に出力する。モニタ30は、出力された合成画像を画面表示する。その後、表示制御部20は、先のステップS10の判断処理を再度実行する。
なお、本発明に係る車両周辺表示装置は、上記実施の形態にて例示した構成に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、種々に変形して実施することが可能である。すなわち、上記実施の形態を適宜変更した例えば次の形態として実施することもできる。
上記実施の形態では、車両周辺表示装置1は、表示スイッチ40から合成画像の表示要求が入力されたか否かを判断(ステップS10の判断処理を実行)し、表示要求が入力されたと判断された場合に合成画像をモニタ30に表示(ステップS20〜S70の一連の処理を実行)していた。すなわち、車両周辺表示装置1は、自車両Cの運転者の手動操作によって、合成画像をモニタ30に表示していたが、これに限らない。他に例えば、車両周辺表示装置1は、ウインカーランプの点滅制御が行なわれているか否かに関する情報をメータECUから取得し、ウインカーランプの点滅制御が行なわれていると判断した場合に合成画像をモニタ30に表示することとしてもよい。あるいは、ナビゲーション装置を搭載する自車両Cに当該車両周辺表示装置1が搭載されている場合に、自車両Cの現在地が車線の分岐地点または車線の合流地点周辺であると判断された場合に合成画像をモニタ30に表示してもよい。すなわち、車両周辺表示装置1は、自動的に合成画像をモニタ30に表示してもよい。なお、ナビゲーション装置が特許請求の範囲に記載の自車両位置検出装置に相当する。
上記実施の形態では、正像自車両イラスト画像生成部22は、ハンドル及び補助ミラー等の左右非対称な部分を含む(強調されていない)自車両イラスト画像を生成していたが、左右非対称な部分が強調された自車両イラスト画像を生成してもよい。
詳しくは、正像自車両イラスト画像生成部22は、ボデーの色と異なる色の補助ミラーや座席の色と異なる色のハンドル等を含む自車両イラスト画像を生成してもよい。具体的には、正像自車両イラスト画像生成部22は、自車両Cの各部のうち左右非対称な部分の彩度がその隣接する部分の彩度よりも高い自車両イラスト画像や、自車両Cの各部のうち左右非対称な部分の明度がその隣接する部分の明度よりも高い自車両イラスト画像(自車両Cの各部のうち左右非対称な部分及びその隣接する部分は同一の色相を有するものとする)を生成してもよい。
あるいは、正像自車両イラスト画像生成部22は、補助ミラーやハンドル等の点滅を示す自車両イラスト画像を生成してもよい。具体的には、正像自車両イラスト画像生成部22は、自車両Cの各部のうち左右非対称な部分の彩度がその隣接する部分の彩度よりも高い自車両イラスト画像と、左右非対称な部分を含む(強調されていない)自車両イラスト画像とを交互に生成したり、自車両Cの各部のうち左右非対称な部分の明度がその隣接する部分の明度よりも高い自車両イラスト画像と、左右非対称な部分を含む(強調されていない)自車両イラスト画像とを交互に生成したりしてもよい。
また、車両周辺表示装置1は、合成画像をモニタ30に表示する際、常に、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示してもよく、一定時間においてのみ、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示し、その一定時間外においては、左右非対称な部分を含む(強調されていない)自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示してもよい。
以下、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像を、合成画像が左右対称であると判断された場合に表示する変形例について説明する。
詳しくは、まず、当該車両周辺表示装置1はナビゲーション装置を搭載する自車両Cに搭載されているものとする。車両周辺表示装置1は、表示要求が入力されたと判断したとき、自車両Cの位置が複数レーンのうち中央レーンであるか否かを併せて判断する。ここで、表示要求が入力されたと判断し、且つ、自車両Cの位置が複数レーンのうち中央レーンであると判断すると、周辺画像が左右対称であると判断し、車両周辺表示装置1は、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示する。このような構成としてもよい。
また、車両周辺表示装置1は、表示要求が入力されたと判断し、且つ、自車両Cの位置が複数レーンのうち中央レーンであると判断すると、その判断時から一定時間において、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示し、その一定時間経過後、左右非対称な部分を含む(強調されていない)自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示する。このような構成としてもよい。なお、一定時間としては、例えば「10秒間」等、合成画像における左右と実際の左右との対応関係を認識していない自車両Cの運転者がその対応関係を認識することが可能な程度の時間を採用するとよい。
また、車両周辺表示装置1は、表示要求が入力されたと判断したとき、周辺画像の左右対称度が所定閾値よりも高いか否かを併せて判断する。周辺画像の左右対称度が所定閾値よりも高いと判断すると、周辺画像が左右対称であると判断し、車両周辺表示装置1は、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示する。なお、左右対称判断部は、周辺画像の幅方向の中心を通り且つ幅方向に垂直な線(対称軸)よりも右方の画像と、この対称軸よりも左方の画像の左右を反転した画像との類似度(左右対称度)をいわゆるテンプレートマッチングにて算出し、左右対称度が所定閾値よりも高いと判断すると、周辺画像が左右対称であると判断し、所定閾値以下であると判断すると、周辺画像は左右対称であるとは判断しない。所定閾値としては、自車両Cの運転者が周辺画像は対称軸に対し左右対称であると認識することのできる程度の類似度を採用するとよい。
また、車両周辺表示装置1は、表示要求が入力されたと判断し、且つ、周辺画像の左右対称度が所定閾値よりも高いと判断すると、その判断時から一定時間において、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示し、その一定時間経過後、左右非対称な部分を含む(強調されていない)自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示する。このような構成としてもよい。なお、一定時間としては、例えば「10秒間」等、合成画像における左右と実際の左右との対応関係を認識していない自車両Cの運転者がその対応関係を認識することが可能な程度の時間を採用するとよい。
このように、車両周辺表示装置1は、周辺画像がその幅方向の中心を通り且つ幅方向に垂直な線を対称軸として線対称ではない左右非対称であるか否かを判断する左右対称判断部をさらに備え、周辺画像が左右対称であると判断された場合に、正像自車両イラスト画像生成部22は、左右非対称な部分が強調された自車両イラスト画像を生成する。ちなみに、自車両Cの位置が複数レーンのうち中央レーンであるか否かを判断する手段、及び、周辺画像の左右対称度が所定閾値よりも高いか否かを判断する手段が、特許請求の範囲に記載の左右対称判断部に相当する。
さらに、合成画像が左右対称であると判断された場合に、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像を表示する構成に限らない。他に例えば、車両周辺表示装置1は、ヘッドランプの点灯制御が行われているか否かに関する情報をメータECUから取得し、ヘッドランプの点灯制御が行われていると判断した場合に、左右非対称な部分が強調された自車両イラスト画像と周辺画像とが合成された合成画像をモニタ30に表示することとしてもよい。ヘッドランプの点灯制御が行われている場合とは、自車両Cが暗い環境下に置かれていることを意味し、左右非対称な部分を含む
(強調されていない)自車両イラスト画像がモニタ30に表示されても、自車両Cの運転者は、合成画像における左右と実際の左右との対応関係を認識しにくいことが考えられる。その点、上記変形例によれば、自車両Cが暗い環境下に置かれている場合であっても、合成画像における左右と実際の左右との対応関係を認識し易くなる。
(強調されていない)自車両イラスト画像がモニタ30に表示されても、自車両Cの運転者は、合成画像における左右と実際の左右との対応関係を認識しにくいことが考えられる。その点、上記変形例によれば、自車両Cが暗い環境下に置かれている場合であっても、合成画像における左右と実際の左右との対応関係を認識し易くなる。
上記実施の形態では、車両周辺表示装置1は、自車両イラスト画像を都度生成していたが、合成画像を表示する際に自車両イラスト画像を都度生成しなくても、複数の自車両イラスト画像を予め生成し内蔵メモリあるいは外部記憶部等の適宜の記憶部に記憶しておき、合成画像を表示する際に自車両イラスト画像を随時選択することとしてもよい。これにより、合成画像を表示する際に自車両イラスト画像を生成するよりも演算負荷を軽減することができるようになる。
1…車両周辺表示装置、10…車載撮像装置、10a…右方撮像装置、10b…左方撮像装置、10c…後方撮像装置、20…表示制御部、21…周辺画像生成部、22…正像自車両イラスト画像生成部、23…合成画像出力部、30…モニタ(表示部)、40…表示スイッチ、C…自車両
Claims (11)
- 自車両の車両名を外部記憶部から取得する第1ステップと、
前記第1ステップで取得した車両名に基づいて自車両の画像を生成する第2ステップと、
前記自車両に搭載され、前記自車両の前進方向を基準として前記自車両の右方を撮像する右方撮像装置、前記前進方向を基準として前記自車両の左方を撮像する左方撮像装置、及び前記前進方向を基準として前記自車両の後方を撮像する後方撮像装置の少なくとも3つの撮像装置で撮像した画像を合成して周辺画像を生成する第3ステップと、
前記第2ステップで生成した自車両の画像と、前記第3ステップで生成した周辺画像とに基づいた合成画像を生成して表示部に出力する第4ステップとを備えていることを特徴とする車両周辺表示装置。 - 請求項1に記載の車両周辺表示装置において、
前記第4ステップは、前記自車両の前方に視点を置いて自車両の方向を見た画像を鏡像とした周辺画像と、前記視点から見た自車両を鏡像にて示す画像であって、その画像を左右方向の中心で分割する左右方向中心線を基準として左右非対称な部分を含む自車両イラスト画像とを重畳した画像を、前記合成画像として生成することを特徴とする車両周辺表示装置。 - 請求項2に記載の車両周辺表示装置において、
前記自車両イラスト画像は、前記左右非対称な部分が強調された画像であることを特徴とする車両周辺表示装置。 - 請求項3に記載の車両周辺表示装置において、
前記周辺画像が、その画像を左右方向の中心で分割する左右方向中心線を基準として左右非対称であるか否かを判断する左右対称判断部と、
前記周辺画像が左右対称であると判断された場合に、左右非対称な部分が強調された自車両イラスト画像を生成する自車両イラスト画像生成部とをさらに備えることを特徴とする車両周辺表示装置。 - 請求項4に記載の車両周辺表示装置において、
前記左右対称判断部は、自車両の位置を検出する自車両位置検出装置によって検出された自車両の位置が複数レーンのうち中央レーンであると判断した場合に、前記周辺画像が左右対称であると判断することを特徴とする車両周辺表示装置。 - 請求項4に記載の車両周辺表示装置において、
前記左右対称判断部は、前記周辺画像の左右対称度が所定閾値よりも高いと判断した場合に、前記周辺画像が左右対称であると判断することを特徴とする車両周辺表示装置。 - 請求項4に記載の車両周辺表示装置において、
前記自車両イラスト画像生成部は、前記左右非対称な部分が強調された自車両イラスト画像として、前記左右非対称な部分が点滅している自車両イラスト画像を生成することを特徴とする車両周辺表示装置。 - 請求項4または7に記載の車両周辺表示装置において、
前記自車両イラスト画像生成部は、自車両の運転情報に基づいて、前記自車両イラスト画像の左右方向中心線に対して左右非対称に動作する部分の動作を示す自車両イラスト画像を生成する車両周辺表示装置。 - 請求項8に記載の車両周辺表示装置において、
前記運転情報は、ワイパーブレードによるウインドの払拭が行なわれているか否かに関する情報であり、
前記自車両イラスト画像生成部は、ワイパーブレードによるウインドの払拭が行なわれている場合に、前記左右非対称に動作する部分の動作として、ワイパーブレードの払拭動作を示す自車両イラスト画像を生成することを特徴とする車両周辺表示装置。 - 請求項8または9に記載の車両周辺表示装置において、
前記運転情報は、ウインカーランプの点滅制御が行なわれているか否かに関する情報であり、
前記自車両イラスト画像生成部は、ウインカーランプが点滅動作が行なわれている場合に、前記左右非対称に動作する部分の動作として、ウインカーランプの点滅動作を示す自車両イラスト画像を生成することを特徴とする車両周辺表示装置。 - 前記自車両イラスト画像は、前記左右非対称な部分としてハンドルを含んでいることを特徴とする請求項2〜10のいずれか1項に記載の車両周辺表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013105974A JP2013211035A (ja) | 2013-05-20 | 2013-05-20 | 車両周辺表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013105974A JP2013211035A (ja) | 2013-05-20 | 2013-05-20 | 車両周辺表示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010009370A Division JP2011151489A (ja) | 2010-01-19 | 2010-01-19 | 車両周辺表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013211035A true JP2013211035A (ja) | 2013-10-10 |
Family
ID=49528732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013105974A Pending JP2013211035A (ja) | 2013-05-20 | 2013-05-20 | 車両周辺表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013211035A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016140212A1 (ja) * | 2015-03-02 | 2016-09-09 | カムイ・イノベーション株式会社 | 多方向画像出力装置および多方向画像出力プログラム |
JP2017184012A (ja) * | 2016-03-30 | 2017-10-05 | 日産自動車株式会社 | 運転支援方法及び運転支援装置 |
WO2019135544A1 (ko) * | 2018-01-08 | 2019-07-11 | 삼성전자주식회사 | 차량 주변의 이미지를 제공하는 전자 장치 및 방법 |
CN114559899A (zh) * | 2022-03-02 | 2022-05-31 | 深圳市哲思特科技有限公司 | 车辆周边环境监控方法、系统、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005142657A (ja) * | 2003-11-04 | 2005-06-02 | Denso Corp | 車両周辺表示制御装置 |
JP2007158426A (ja) * | 2005-11-30 | 2007-06-21 | Alpine Electronics Inc | 車両周辺画像表示装置 |
JP2008077628A (ja) * | 2006-08-21 | 2008-04-03 | Sanyo Electric Co Ltd | 画像処理装置並びに車両周辺視界支援装置及び方法 |
JP2009206747A (ja) * | 2008-02-27 | 2009-09-10 | Nissan Motor Co Ltd | 車両用周囲状況監視装置及び映像表示方法 |
-
2013
- 2013-05-20 JP JP2013105974A patent/JP2013211035A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005142657A (ja) * | 2003-11-04 | 2005-06-02 | Denso Corp | 車両周辺表示制御装置 |
JP2007158426A (ja) * | 2005-11-30 | 2007-06-21 | Alpine Electronics Inc | 車両周辺画像表示装置 |
JP2008077628A (ja) * | 2006-08-21 | 2008-04-03 | Sanyo Electric Co Ltd | 画像処理装置並びに車両周辺視界支援装置及び方法 |
JP2009206747A (ja) * | 2008-02-27 | 2009-09-10 | Nissan Motor Co Ltd | 車両用周囲状況監視装置及び映像表示方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016140212A1 (ja) * | 2015-03-02 | 2016-09-09 | カムイ・イノベーション株式会社 | 多方向画像出力装置および多方向画像出力プログラム |
JP2017184012A (ja) * | 2016-03-30 | 2017-10-05 | 日産自動車株式会社 | 運転支援方法及び運転支援装置 |
WO2019135544A1 (ko) * | 2018-01-08 | 2019-07-11 | 삼성전자주식회사 | 차량 주변의 이미지를 제공하는 전자 장치 및 방법 |
US11245858B2 (en) | 2018-01-08 | 2022-02-08 | Samsung Electronics Co., Ltd | Electronic device and method for providing image of surroundings of vehicle |
CN114559899A (zh) * | 2022-03-02 | 2022-05-31 | 深圳市哲思特科技有限公司 | 车辆周边环境监控方法、系统、电子设备及存储介质 |
CN114559899B (zh) * | 2022-03-02 | 2023-02-03 | 深圳市哲思特科技有限公司 | 车辆周边环境监控方法、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016002163A1 (ja) | 画像表示装置、画像表示方法 | |
JP5143235B2 (ja) | 制御装置および車両周囲監視装置 | |
WO2019008764A1 (ja) | 駐車支援方法及び駐車支援装置 | |
JP2020043400A (ja) | 周辺監視装置 | |
WO2015159142A1 (en) | On-vehicle image display device, on-vehicle image display method, and on-vehicle image setting device | |
JP5488303B2 (ja) | 車両用表示装置 | |
JP2013168063A (ja) | 画像処理装置、画像表示システム及び画像処理方法 | |
WO2018150642A1 (ja) | 周辺監視装置 | |
JPWO2015045568A1 (ja) | 予測進路提示装置及び予測進路提示方法 | |
JP5067169B2 (ja) | 車両用駐車支援装置および画像表示方法 | |
US11601621B2 (en) | Vehicular display system | |
JP2014036268A (ja) | 移動体の周辺画像表示装置 | |
JP2016063390A (ja) | 画像処理装置、及び画像表示システム | |
JP6876236B2 (ja) | 表示制御装置 | |
JP2013211035A (ja) | 車両周辺表示装置 | |
JP2006054662A (ja) | 運転支援装置 | |
JP2014199677A (ja) | 運転支援装置 | |
JP2023165721A (ja) | 表示制御装置 | |
JP2011151489A (ja) | 車両周辺表示装置 | |
JP2007088577A (ja) | 車両周辺画像処理システム | |
JP5831331B2 (ja) | 車両の後側方撮影装置 | |
JP2012046124A (ja) | 画像表示システム、画像処理装置、および、画像表示方法 | |
KR102023863B1 (ko) | 이동체 주위 표시 방법 및 이동체 주위 표시 장치 | |
JP2009087228A (ja) | 画像表示装置 | |
JP6528515B2 (ja) | 周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140403 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141028 |