JP2003030627A - 車両周辺画像処理装置及び記録媒体 - Google Patents
車両周辺画像処理装置及び記録媒体Info
- Publication number
- JP2003030627A JP2003030627A JP2001215066A JP2001215066A JP2003030627A JP 2003030627 A JP2003030627 A JP 2003030627A JP 2001215066 A JP2001215066 A JP 2001215066A JP 2001215066 A JP2001215066 A JP 2001215066A JP 2003030627 A JP2003030627 A JP 2003030627A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye view
- bird
- view image
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】 例えばカメラの視野の外に出た部分を推定し
て描画することができるとともに、車両の周囲をリアル
タイムで監視することができる車両周辺画像処理装置及
び記録媒体を提供すること。 【解決手段】 ステップ１４０では、車両の移動量に基
づいて、移動後鳥瞰図画像を求める。ステップ１６０で
は、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して合
成鳥瞰図画像を作成する。ステップ１７０では、超音波
センサ８により障害物を検出する。ステップ１８０で
は、障害物を示す画像データを、合成鳥瞰図画像に対し
て障害物が存在する位置に書き込む。ステップ１９０で
は、書込合成鳥瞰図画像を画像メモリＢに記憶する。ス
テップ２００では、車両を示す画像や視野角を示す画像
などを加味して書込合成鳥瞰図画像をモニタ５に表示す
る。
て描画することができるとともに、車両の周囲をリアル
タイムで監視することができる車両周辺画像処理装置及
び記録媒体を提供すること。 【解決手段】 ステップ１４０では、車両の移動量に基
づいて、移動後鳥瞰図画像を求める。ステップ１６０で
は、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して合
成鳥瞰図画像を作成する。ステップ１７０では、超音波
センサ８により障害物を検出する。ステップ１８０で
は、障害物を示す画像データを、合成鳥瞰図画像に対し
て障害物が存在する位置に書き込む。ステップ１９０で
は、書込合成鳥瞰図画像を画像メモリＢに記憶する。ス
テップ２００では、車両を示す画像や視野角を示す画像
などを加味して書込合成鳥瞰図画像をモニタ５に表示す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば車両の周辺
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。
【０００２】
【従来の技術】従来より、車両の後方の様子を表示する
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。
【０００３】また、これとは別に、特開平１０−２１１
８４９号公報には、後方カメラで撮影した画像（後方カ
メラ画像）を鳥瞰図に変換し、自車両をその中に表示す
るという技術が提案されている。
８４９号公報には、後方カメラで撮影した画像（後方カ
メラ画像）を鳥瞰図に変換し、自車両をその中に表示す
るという技術が提案されている。
【０００４】
【発明が解決しようとする課題】この技術の場合には、
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。
【０００５】そのため、例えば車両を後退させて駐車枠
に入れるような場合には、カメラの視野外に出た駐車枠
を表示できないので、依然として、車両を駐車枠に入れ
る操作が容易ではないという問題があった。これに対し
て、既に本願発明者らにより、車両後部に取り付けたカ
メラから、車両後方の画像を撮影し、画像処理でこれら
を上から見た鳥瞰画像に変換し、変換した画像の時間的
変化から車両の動きを算出して、カメラの視野外に消え
て行く画像領域を算出し、更に現時刻の変換画像を貼り
付けて、従来より広い範囲を表示する技術が開発されて
いる。
に入れるような場合には、カメラの視野外に出た駐車枠
を表示できないので、依然として、車両を駐車枠に入れ
る操作が容易ではないという問題があった。これに対し
て、既に本願発明者らにより、車両後部に取り付けたカ
メラから、車両後方の画像を撮影し、画像処理でこれら
を上から見た鳥瞰画像に変換し、変換した画像の時間的
変化から車両の動きを算出して、カメラの視野外に消え
て行く画像領域を算出し、更に現時刻の変換画像を貼り
付けて、従来より広い範囲を表示する技術が開発されて
いる。
【０００６】この技術は、それ以前の技術よりも優れて
いるものであるが、モニタに表示される画像は、その大
部分が過去の画像データに基づくものであるので、例え
ば新たな障害物が、モニタに表示された（過去のデータ
に基づく）領域に進入した場合には、これを監視できな
いという問題があった。
いるものであるが、モニタに表示される画像は、その大
部分が過去の画像データに基づくものであるので、例え
ば新たな障害物が、モニタに表示された（過去のデータ
に基づく）領域に進入した場合には、これを監視できな
いという問題があった。
【０００７】本発明は、前記課題を解決するためになさ
れたものであり、例えばカメラの視野の外に出た部分を
推定して描画することができるとともに、車両の周囲を
リアルタイムで監視することができる車両周辺画像処理
装置及び記録媒体を提供することを目的とする。
れたものであり、例えばカメラの視野の外に出た部分を
推定して描画することができるとともに、車両の周囲を
リアルタイムで監視することができる車両周辺画像処理
装置及び記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段及び発明の効果】（１）請
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。
【０００９】本発明では、撮影手段により撮影した画像
を、例えば撮影手段を視点として投影した地上面座標系
のデータに変換して鳥瞰図画像の画像データを順次作成
する。即ち、第１鳥瞰図画像及びそれより後の画像であ
る第２鳥瞰図画像等の画像データを作成する。これによ
り、画像は、例えばカメラで撮影したままの歪んだ画像
ではなく、地面の上方より見たような見やすい鳥瞰図画
像となる。
を、例えば撮影手段を視点として投影した地上面座標系
のデータに変換して鳥瞰図画像の画像データを順次作成
する。即ち、第１鳥瞰図画像及びそれより後の画像であ
る第２鳥瞰図画像等の画像データを作成する。これによ
り、画像は、例えばカメラで撮影したままの歪んだ画像
ではなく、地面の上方より見たような見やすい鳥瞰図画
像となる。
【００１０】更に、車両の移動状態に対応して、第１鳥
瞰図画像を移動させて移動後鳥瞰図画像の画像データを
作成し、この移動後鳥瞰図画像の画像データと、（第１
鳥瞰図画像より）新しい第２鳥瞰図画像の画像データと
を合成して合成鳥瞰図画像の画像データを作成する。
瞰図画像を移動させて移動後鳥瞰図画像の画像データを
作成し、この移動後鳥瞰図画像の画像データと、（第１
鳥瞰図画像より）新しい第２鳥瞰図画像の画像データと
を合成して合成鳥瞰図画像の画像データを作成する。
【００１１】つまり、車両が移動するにつれて、例えば
カメラの視野が変化するので、当然、撮影した時間が異
なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ
（撮影された部分の違い）が発生する。そこで、第２鳥
瞰図画像に、そのずれの部分（即ち過去に視野内であっ
たが現在視野から消えている部分）の移動後鳥瞰図画像
を適宜加味することにより、モニタ等にカメラの視野か
ら消えた部分を表示する。
カメラの視野が変化するので、当然、撮影した時間が異
なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ
（撮影された部分の違い）が発生する。そこで、第２鳥
瞰図画像に、そのずれの部分（即ち過去に視野内であっ
たが現在視野から消えている部分）の移動後鳥瞰図画像
を適宜加味することにより、モニタ等にカメラの視野か
ら消えた部分を表示する。
【００１２】特に、本発明では、障害物検出手段（例え
ば超音波センサ）によって検出された障害物を示す画像
を、合成鳥瞰図画像に加入して、表示手段に表示する。
従って、モニタ等には、周囲の画像だけでなく、障害物
の位置等を表示することができるので、車両の操作にお
ける安全性が一層向上するという効果がある。
ば超音波センサ）によって検出された障害物を示す画像
を、合成鳥瞰図画像に加入して、表示手段に表示する。
従って、モニタ等には、周囲の画像だけでなく、障害物
の位置等を表示することができるので、車両の操作にお
ける安全性が一層向上するという効果がある。
【００１３】つまり、モニタ等にカメラの視野から消え
た部分を表示する技術においては、モニタ等に表示され
る画像は、その大部分が過去の画像データに基づくもの
であるが、本発明によれば、例えば新たな車両や人等の
障害物が、モニタに表示された領域（過去のデータに基
づいて作成された画面の領域）に進入した場合にも、こ
れを監視できるという顕著な効果を奏する。
た部分を表示する技術においては、モニタ等に表示され
る画像は、その大部分が過去の画像データに基づくもの
であるが、本発明によれば、例えば新たな車両や人等の
障害物が、モニタに表示された領域（過去のデータに基
づいて作成された画面の領域）に進入した場合にも、こ
れを監視できるという顕著な効果を奏する。
【００１４】尚、車両の移動状態から合成鳥瞰図画像を
作成する手法としては、画像の時間的変化から車両の動
きを算出して移動後鳥瞰図画像を作成したり、車両信号
を用いて移動後鳥瞰図画像を作成する手法を採用でき
る。 （２）請求項２の発明では、障害物を示す画像を加入し
た合成鳥瞰図画像を記憶しておき、この障害物の画像を
加入した合成鳥瞰図画像と新たな第２鳥瞰図画像とを合
成して新たな合成鳥瞰図画像を作成する。
作成する手法としては、画像の時間的変化から車両の動
きを算出して移動後鳥瞰図画像を作成したり、車両信号
を用いて移動後鳥瞰図画像を作成する手法を採用でき
る。 （２）請求項２の発明では、障害物を示す画像を加入し
た合成鳥瞰図画像を記憶しておき、この障害物の画像を
加入した合成鳥瞰図画像と新たな第２鳥瞰図画像とを合
成して新たな合成鳥瞰図画像を作成する。
【００１５】例えばモニタに、障害物を含む合成鳥瞰図
画像を表示した場合には、次に、合成鳥瞰図画像を作成
する場合には、（モニタに表示した）障害物を含む合成
鳥瞰図画像と新たに撮影によって得られた第２鳥瞰図画
像とを合成する。これにより、車両の移動につれて、モ
ニタ上に連続的に画像を表示する場合でも、障害物の画
像を、変化するモニタ画面上にて対応する同じ場所に表
示できる。よって、例えば駐車枠の角に障害物があった
場合には、表示画像が変化しても同じ駐車枠の角に障害
物を表示できるので、障害物を継続的に認識することが
でき、車両の運転の際の安全性が向上する。
画像を表示した場合には、次に、合成鳥瞰図画像を作成
する場合には、（モニタに表示した）障害物を含む合成
鳥瞰図画像と新たに撮影によって得られた第２鳥瞰図画
像とを合成する。これにより、車両の移動につれて、モ
ニタ上に連続的に画像を表示する場合でも、障害物の画
像を、変化するモニタ画面上にて対応する同じ場所に表
示できる。よって、例えば駐車枠の角に障害物があった
場合には、表示画像が変化しても同じ駐車枠の角に障害
物を表示できるので、障害物を継続的に認識することが
でき、車両の運転の際の安全性が向上する。
【００１６】この手法は、障害物が移動しない固定物で
ある場合に特に有効である。また、障害物が車両等の様
に移動物である場合には、障害物の移動してゆく状態が
分かるという利点がある。 （３）請求項３の発明では、メモリＡに鳥瞰図画像作成
手段により作成された鳥瞰図画像の画像データを記憶
し、メモリＢに合成鳥瞰図画像作成手段により作成され
た合成鳥瞰図画像の画像データを記憶する。
ある場合に特に有効である。また、障害物が車両等の様
に移動物である場合には、障害物の移動してゆく状態が
分かるという利点がある。 （３）請求項３の発明では、メモリＡに鳥瞰図画像作成
手段により作成された鳥瞰図画像の画像データを記憶
し、メモリＢに合成鳥瞰図画像作成手段により作成され
た合成鳥瞰図画像の画像データを記憶する。
【００１７】本発明は、画像データを記憶する記憶手段
を例示したものである。 （４）請求項４の発明では、障害物を示す画像を加入し
ない合成鳥瞰図画像を記憶しておき、この障害物の画像
を加入しない合成鳥瞰図画像と新たな第２鳥瞰図画像と
を合成して、新たな合成鳥瞰図画像を作成する。
を例示したものである。 （４）請求項４の発明では、障害物を示す画像を加入し
ない合成鳥瞰図画像を記憶しておき、この障害物の画像
を加入しない合成鳥瞰図画像と新たな第２鳥瞰図画像と
を合成して、新たな合成鳥瞰図画像を作成する。
【００１８】例えばモニタに、障害物を含む合成鳥瞰図
画像を表示した場合には、次に、合成鳥瞰図画像を作成
する場合には、（モニタに表示した）障害物を含む合成
鳥瞰図画像ではなく、障害物を含まない合成鳥瞰図画像
と新たに撮影によって得られた第２鳥瞰図画像とを合成
する。
画像を表示した場合には、次に、合成鳥瞰図画像を作成
する場合には、（モニタに表示した）障害物を含む合成
鳥瞰図画像ではなく、障害物を含まない合成鳥瞰図画像
と新たに撮影によって得られた第２鳥瞰図画像とを合成
する。
【００１９】これにより、車両の移動につれて、モニタ
上に連続的に画像を表示する場合でも、過去の障害物の
位置等ではなく（例えば超音波センサで検出した）最新
の障害物の画像を逐次モニタ上に表示できるので、車両
の運転の際の安全性が一層向上する。
上に連続的に画像を表示する場合でも、過去の障害物の
位置等ではなく（例えば超音波センサで検出した）最新
の障害物の画像を逐次モニタ上に表示できるので、車両
の運転の際の安全性が一層向上する。
【００２０】この手法は、障害物が移動する例えば車両
や人等の移動物である場合に特に有効である。 （５）請求項５の発明では、表示手段に画像を表示する
際に、合成鳥瞰図画像に障害物を示す画像を加入して、
表示手段に表示する。
や人等の移動物である場合に特に有効である。 （５）請求項５の発明では、表示手段に画像を表示する
際に、合成鳥瞰図画像に障害物を示す画像を加入して、
表示手段に表示する。
【００２１】本発明では、合成鳥瞰図画像に障害物の画
像が含まれていない場合でも、モニタ等に表示するため
に、別途、合成鳥瞰図画像に障害物を加入した画像（書
込合成鳥瞰図画像）を作成し、この書込合成鳥瞰図画像
をモニタ等に表示する。これにより、表示に必要な場合
のみ障害物の画像を加入するので、順次合成鳥瞰図画像
を作成する際に、障害物の画像が書き込まれることはな
い。
像が含まれていない場合でも、モニタ等に表示するため
に、別途、合成鳥瞰図画像に障害物を加入した画像（書
込合成鳥瞰図画像）を作成し、この書込合成鳥瞰図画像
をモニタ等に表示する。これにより、表示に必要な場合
のみ障害物の画像を加入するので、順次合成鳥瞰図画像
を作成する際に、障害物の画像が書き込まれることはな
い。
【００２２】そのため、障害物が移動物である場合に
は、（過去の障害物の位置ではなく）最新の障害物の位
置等のみを表示できるので、運転者にとって障害物の情
報を正確に認識し易いという利点がある。 （６）請求項６の発明では、メモリＡに鳥瞰図画像作成
手段により作成された鳥瞰図画像の画像データを記憶
し、メモリＢに合成鳥瞰図画像作成手段により作成され
た合成鳥瞰図画像の画像データを記憶し、メモリＣに障
害物を示す画像データを記憶する。
は、（過去の障害物の位置ではなく）最新の障害物の位
置等のみを表示できるので、運転者にとって障害物の情
報を正確に認識し易いという利点がある。 （６）請求項６の発明では、メモリＡに鳥瞰図画像作成
手段により作成された鳥瞰図画像の画像データを記憶
し、メモリＢに合成鳥瞰図画像作成手段により作成され
た合成鳥瞰図画像の画像データを記憶し、メモリＣに障
害物を示す画像データを記憶する。
【００２３】本発明は、画像データを記憶する記憶手段
を例示したものである。 （７）請求項７の発明では、合成鳥瞰図画像は、第２鳥
瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像
を加入した画像である。本発明は、合成鳥瞰図画像の形
成方法を例示したものである。これにより、車両の周囲
の画像を連続して表示することができる。
を例示したものである。 （７）請求項７の発明では、合成鳥瞰図画像は、第２鳥
瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像
を加入した画像である。本発明は、合成鳥瞰図画像の形
成方法を例示したものである。これにより、車両の周囲
の画像を連続して表示することができる。
【００２４】つまり、上述した様に、例えばカメラによ
り現在撮影されている画像は、第２鳥瞰図画像としてモ
ニタに表示可能であるので、それ以前のモニタから消え
てしまう画像を、移動後鳥瞰図画像として第２鳥瞰図画
像の表示領域以外に加えることにより、カメラの視野か
ら消えた過去の周囲の状況をもモニタに表示することが
できる。
り現在撮影されている画像は、第２鳥瞰図画像としてモ
ニタに表示可能であるので、それ以前のモニタから消え
てしまう画像を、移動後鳥瞰図画像として第２鳥瞰図画
像の表示領域以外に加えることにより、カメラの視野か
ら消えた過去の周囲の状況をもモニタに表示することが
できる。
【００２５】（８）請求項８の発明では、合成鳥瞰図画
像に用いる第２鳥瞰図画像として、最新の鳥瞰図画像を
用いる。本発明では、第２鳥瞰図画像として、新たにカ
メラ等にて撮影された最新の鳥瞰図画像を用いるので、
車両の周辺の状況をより的確に把握することができる。
像に用いる第２鳥瞰図画像として、最新の鳥瞰図画像を
用いる。本発明では、第２鳥瞰図画像として、新たにカ
メラ等にて撮影された最新の鳥瞰図画像を用いるので、
車両の周辺の状況をより的確に把握することができる。
【００２６】（９）請求項９の発明では、表示手段に合
成鳥瞰図画像を表示する場合には、自車両を示す画像を
加えて表示する。本発明では、車両の周囲の状況を示す
合成鳥瞰図画像に自車両を示す画像を加えて表示するこ
とにより、自車両と例えば駐車枠との位置関係が明瞭と
なるので、車両の操作が容易になる。
成鳥瞰図画像を表示する場合には、自車両を示す画像を
加えて表示する。本発明では、車両の周囲の状況を示す
合成鳥瞰図画像に自車両を示す画像を加えて表示するこ
とにより、自車両と例えば駐車枠との位置関係が明瞭と
なるので、車両の操作が容易になる。
【００２７】尚、例えばカメラは車両の所定位置に固定
されているので、例えばモニタの画面における自車両の
位置は常に一定である。従って、モニタの画面の決まっ
た位置に自車両を表示することができ、更には、モニタ
の画面上に予めプリント等により車両を記載してもよ
い。
されているので、例えばモニタの画面における自車両の
位置は常に一定である。従って、モニタの画面の決まっ
た位置に自車両を表示することができ、更には、モニタ
の画面上に予めプリント等により車両を記載してもよ
い。
【００２８】また、カメラの視野角も通常は一定である
ので、自車両だけでなく、モニタの画面に、カメラの視
野角（左右の範囲）も表示してもよい。 （１０）請求項１０の発明は、上述した車両周辺画像処
理装置による処理を実行させる手段を記憶している記録
媒体である。
ので、自車両だけでなく、モニタの画面に、カメラの視
野角（左右の範囲）も表示してもよい。 （１０）請求項１０の発明は、上述した車両周辺画像処
理装置による処理を実行させる手段を記憶している記録
媒体である。
【００２９】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。
【００３０】
【発明の実施の形態】以下に、本発明の車両周辺画像処
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例１） ａ）本実施例の基本的なシステム構成を図１及び図２を
用いて説明する。
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例１） ａ）本実施例の基本的なシステム構成を図１及び図２を
用いて説明する。
【００３１】図１に示す様に、本実施例の車両周辺画像
処理装置は、自動車の後部に配置されたカメラ（例えば
ＣＣＤカメラ）１と、ダッシュボードに配置された車載
モニタ（例えば液晶ディスプレイ）３と、車速を検出す
る車速センサ５と、ヨーレイトを検出するヨーレイトセ
ンサ７と、車両に周囲の障害物を検出する超音波センサ
８と、画像処理を行う画像処理ユニット９を備えてい
る。
処理装置は、自動車の後部に配置されたカメラ（例えば
ＣＣＤカメラ）１と、ダッシュボードに配置された車載
モニタ（例えば液晶ディスプレイ）３と、車速を検出す
る車速センサ５と、ヨーレイトを検出するヨーレイトセ
ンサ７と、車両に周囲の障害物を検出する超音波センサ
８と、画像処理を行う画像処理ユニット９を備えてい
る。
【００３２】前記画像処理ユニット９は、図２に示す様
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、カメラ１で撮影した画像デ
ータの座標変換を行って鳥瞰図画像を作成する座標変換
部（鳥瞰図変換回路）１１と、作成された鳥瞰図画像の
画像データを一時的に蓄える画像メモリＡと、車速信号
を入力する車速信号入力回路１３と、ヨーレイト信号を
入力するヨーレイト信号入力回路１５と、超音波センサ
８からの超音波信号を入力する超音波信号入力回路１６
と、車速信号及びヨーレイト信号を読み込んで鳥瞰図画
像を移動（例えば回転移動）させたり障害物を示す画像
の処理等の演算を行うＣＰＵ１７と、モニタ３に表示す
る鳥瞰図画像のデータを記憶する画像メモリＢとを備え
ている。
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、カメラ１で撮影した画像デ
ータの座標変換を行って鳥瞰図画像を作成する座標変換
部（鳥瞰図変換回路）１１と、作成された鳥瞰図画像の
画像データを一時的に蓄える画像メモリＡと、車速信号
を入力する車速信号入力回路１３と、ヨーレイト信号を
入力するヨーレイト信号入力回路１５と、超音波センサ
８からの超音波信号を入力する超音波信号入力回路１６
と、車速信号及びヨーレイト信号を読み込んで鳥瞰図画
像を移動（例えば回転移動）させたり障害物を示す画像
の処理等の演算を行うＣＰＵ１７と、モニタ３に表示す
る鳥瞰図画像のデータを記憶する画像メモリＢとを備え
ている。
【００３３】ここで、画像メモリＢに記憶する鳥瞰図画
像の画像データとは、後述する様に、前回（例えば時刻
Ｔに）カメラ１にて撮影され、その画像データに基づい
て作成された鳥瞰図画像（第１鳥瞰図画像）を移動させ
た鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば
時刻Ｔ＋１に）カメラ１にて撮影され、その画像データ
に基づいて作成された鳥瞰図画像（第２鳥瞰図画像）と
を合成した鳥瞰図画像（合成鳥瞰図画像）の画像データ
である。
像の画像データとは、後述する様に、前回（例えば時刻
Ｔに）カメラ１にて撮影され、その画像データに基づい
て作成された鳥瞰図画像（第１鳥瞰図画像）を移動させ
た鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば
時刻Ｔ＋１に）カメラ１にて撮影され、その画像データ
に基づいて作成された鳥瞰図画像（第２鳥瞰図画像）と
を合成した鳥瞰図画像（合成鳥瞰図画像）の画像データ
である。
【００３４】特に本実施例では、この合成鳥瞰図画像に
は、超音波センサ８によって検出された障害物を示す画
像が書き込まれている。また、前記超音波センサ８は、
図３に示す様に、車両の周囲の障害物を検出できる様
に、車両の左右の側面及び後部に所定の間隔を保って配
置されている。
は、超音波センサ８によって検出された障害物を示す画
像が書き込まれている。また、前記超音波センサ８は、
図３に示す様に、車両の周囲の障害物を検出できる様
に、車両の左右の側面及び後部に所定の間隔を保って配
置されている。
【００３５】従って、例えばセンサＡ〜Ｅの様に配置さ
れた各超音波センサ８から超音波を発信し、その受信波
を受信することにより、各超音波センサ８の検出範囲内
に障害物があるか否かだけでなく、その障害物との距離
や障害物の大きさを検出することができる。
れた各超音波センサ８から超音波を発信し、その受信波
を受信することにより、各超音波センサ８の検出範囲内
に障害物があるか否かだけでなく、その障害物との距離
や障害物の大きさを検出することができる。
【００３６】尚、画像処理ユニット３は、カメラ１と一
体の構造となっていてもよく、画像処理ユニット９内の
各構成は、一部又は全体で一体化してＬＳＩで構成して
もよい。い。 ｂ）次に、本実施例における画像処理の手順等を、図４
〜図６に基づいて説明する。
体の構造となっていてもよく、画像処理ユニット９内の
各構成は、一部又は全体で一体化してＬＳＩで構成して
もよい。い。 ｂ）次に、本実施例における画像処理の手順等を、図４
〜図６に基づいて説明する。
【００３７】ここでは、車両を後退（バック）させて駐
車枠内に入れる場合を例に挙げる。 最初に、カメラ１から入力された画像を、鳥瞰図変換
回路１１で上空から見た鳥瞰図画像に変換し、画像メモ
リＡに保存する手順を説明する。まず、カメラ１から出
力される原画像（出力画像）を、図４（ａ）に示すが、
この原画像は、車両の後部の上部に配置されたカメラ１
により、地上に描かれた駐車枠及びその周囲を撮影した
画像であるので、自車両（従ってカメラ１）と駐車枠の
各線の位置との距離などに応じて、本来矩形である駐車
枠が歪んで表示されている。
車枠内に入れる場合を例に挙げる。 最初に、カメラ１から入力された画像を、鳥瞰図変換
回路１１で上空から見た鳥瞰図画像に変換し、画像メモ
リＡに保存する手順を説明する。まず、カメラ１から出
力される原画像（出力画像）を、図４（ａ）に示すが、
この原画像は、車両の後部の上部に配置されたカメラ１
により、地上に描かれた駐車枠及びその周囲を撮影した
画像であるので、自車両（従ってカメラ１）と駐車枠の
各線の位置との距離などに応じて、本来矩形である駐車
枠が歪んで表示されている。
【００３８】よって、後ににて詳述する様に、原画像
の画像データを座標変換して、図４（ｂ）に示す様な歪
みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像デ
ータを画像メモリＡに記憶する。 次に、前記カメラ１で撮影された原画像を鳥瞰図画像
に変換する手順を説明する。尚、この手順は、以下に説
明する様に、従来技術（例えば特開平１０−２１１８４
９号公報）を利用できる。
の画像データを座標変換して、図４（ｂ）に示す様な歪
みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像デ
ータを画像メモリＡに記憶する。 次に、前記カメラ１で撮影された原画像を鳥瞰図画像
に変換する手順を説明する。尚、この手順は、以下に説
明する様に、従来技術（例えば特開平１０−２１１８４
９号公報）を利用できる。
【００３９】ここでは、通常の透視変換の逆の処理を行
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図５に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図５に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。
【００４０】詳しくは、カメラ１は、Ｚ軸上の点Ｒ
（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ
座標面）における画像をモニタしているとする。従っ
て、ここでは、下記式（１）に示す様にして、スクリー
ン平面Ｔ上の２次元座標（α、β）を、地上面上の座標
（鳥瞰図座標）に変換（逆の透視変換）できる。
（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ
座標面）における画像をモニタしているとする。従っ
て、ここでは、下記式（１）に示す様にして、スクリー
ン平面Ｔ上の２次元座標（α、β）を、地上面上の座標
（鳥瞰図座標）に変換（逆の透視変換）できる。
【００４１】
【数１】
【００４２】つまり、上記式（１）を用いることによ
り、投影画像データを（鳥瞰図画像を示す）モニタ５の
画面に対応した画像データに変換してモニタ表示するこ
とができる。 次に、車速信号とヨーレイト信号を用い、車両の動き
量（移動量）に応じて、前記画像メモリＡに記憶した鳥
瞰図画像を移動（例えば回転移動）させる手順を説明す
る。
り、投影画像データを（鳥瞰図画像を示す）モニタ５の
画面に対応した画像データに変換してモニタ表示するこ
とができる。 次に、車速信号とヨーレイト信号を用い、車両の動き
量（移動量）に応じて、前記画像メモリＡに記憶した鳥
瞰図画像を移動（例えば回転移動）させる手順を説明す
る。
【００４３】ここでは、図６に時刻Ｔの車両位置を示す
が、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻
Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中
心における回転角度θＣ）とする。 ・まず、カメラ１のサンプリング時間が１００[ｍｓ]の
場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用い
て、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算
出できる。
が、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻
Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中
心における回転角度θＣ）とする。 ・まず、カメラ１のサンプリング時間が１００[ｍｓ]の
場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用い
て、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算
出できる。
【００４４】
Ｌ[ｍ]＝Ｓ[ｋｍ／ｈ]×１０００[ｍ／ｋｍ]÷３６００[Ｓ／ｈ]
×１００[ｍｓ]÷１０００[ｍｓ／ｓ] ・・・（２）
また、図６に示す図形の関係があるので、ヨーレイト信
号から得られるヨーレイトθ０[度／ｓ]を用いて、下記
式（３）から、車両が動いた角度θ１を算出できる。
号から得られるヨーレイトθ０[度／ｓ]を用いて、下記
式（３）から、車両が動いた角度θ１を算出できる。
【００４５】
θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３）
更に、ここでは、車両の回転中心は後輪車軸の延長線上
にあるとしているので、その回転中心は、カメラ位置を
原点として算出し、車両の進行方向をＹ、これに垂直な
方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、
下記式（４）から算出できる。
にあるとしているので、その回転中心は、カメラ位置を
原点として算出し、車両の進行方向をＹ、これに垂直な
方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、
下記式（４）から算出できる。
【００４６】
ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１） ・・・（４）
一方、Ｙ方向の中心位置は、後輪車軸上であるので、カ
メラと後輪車軸までの距離はＹＣ[ｃｍ]である。また、
回転中心における回転角度θＣは、図６に示す図形の関
係から、車両が動いた角度θ１に一致する。
メラと後輪車軸までの距離はＹＣ[ｃｍ]である。また、
回転中心における回転角度θＣは、図６に示す図形の関
係から、車両が動いた角度θ１に一致する。
【００４７】・次に、上述した様にして求めた回転中心
位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記の様
にして、鳥瞰図画像を移動する。画像メモリＡに記憶さ
れた鳥瞰図画像の画像データは、一旦、画像メモリＢに
も記憶される。従って、ここでは、画像メモリＢに記憶
された鳥瞰図画像の画像データを、ＣＰＵ１７の内部メ
モリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回
転角度θＣを用いて、鳥瞰図画像を回転移動する。
位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記の様
にして、鳥瞰図画像を移動する。画像メモリＡに記憶さ
れた鳥瞰図画像の画像データは、一旦、画像メモリＢに
も記憶される。従って、ここでは、画像メモリＢに記憶
された鳥瞰図画像の画像データを、ＣＰＵ１７の内部メ
モリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回
転角度θＣを用いて、鳥瞰図画像を回転移動する。
【００４８】この回転移動を行うための変換式を、下記
式（５）に示すが、この変換式を用いたＣＰＵ１７の内
部処理により、回転角度θにて移動させた移動後の座標
（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、
ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、Ｙ
Ｂ）のアドレスメモリに保存する。
式（５）に示すが、この変換式を用いたＣＰＵ１７の内
部処理により、回転角度θにて移動させた移動後の座標
（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、
ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、Ｙ
Ｂ）のアドレスメモリに保存する。
【００４９】
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＢ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
θ ：回転角度
・そして、全ての座標についてこれらの演算を行うこと
により、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔ
における第１鳥瞰図画像）から、移動後の鳥瞰図画像
（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
により、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔ
における第１鳥瞰図画像）から、移動後の鳥瞰図画像
（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００５０】それとともに、新たにカメラ１により撮影
した画像に基づいて作成した鳥瞰図画像、即ち、現在の
鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、
新たに画像メモリＡよりＣＰＵ１７に転送する。よっ
て、ＣＰＵ１７では、第２鳥瞰図画像を時刻Ｔと位置関
係が対応する位置（移動後鳥瞰図画像との画像のずれが
生じない位置）に書き込み、それによって、移動後鳥瞰
図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の
画像データを作成する。
した画像に基づいて作成した鳥瞰図画像、即ち、現在の
鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、
新たに画像メモリＡよりＣＰＵ１７に転送する。よっ
て、ＣＰＵ１７では、第２鳥瞰図画像を時刻Ｔと位置関
係が対応する位置（移動後鳥瞰図画像との画像のずれが
生じない位置）に書き込み、それによって、移動後鳥瞰
図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の
画像データを作成する。
【００５１】次に、超音波センサ８によって検出した
障害物を示す画像の処理について説明する。上述した画
像処理とは別に、各超音波センサ８から超音波を発信
し、その反射波を受信することによって、車両の周囲の
障害物を検出する。
障害物を示す画像の処理について説明する。上述した画
像処理とは別に、各超音波センサ８から超音波を発信
し、その反射波を受信することによって、車両の周囲の
障害物を検出する。
【００５２】そして、障害物が検出された場合には、障
害物を検出した位置のデータ、即ち障害物が車両に対し
てどの位置（障害物を検出した当該超音波センサ８の発
信方向）にて、どれほど離れているかを示す位置のデー
タや、障害物の大きさのデータを求める。
害物を検出した位置のデータ、即ち障害物が車両に対し
てどの位置（障害物を検出した当該超音波センサ８の発
信方向）にて、どれほど離れているかを示す位置のデー
タや、障害物の大きさのデータを求める。
【００５３】次に、前記合成鳥瞰図画像に対して、前記
位置等のデータに基づいて、障害物がどの位置にあるか
を求め、その求めた位置に障害物であることを示す画像
（障害物画像）を書き込む処理を行う。例えば超音波セ
ンサ８により、障害物との距離や大きさが分かった場合
には、その障害物の情報に基づいて、障害物に大きさに
比例した赤色のリングを（合成鳥瞰図画像に対して）障
害物がある位置に書き込む。
位置等のデータに基づいて、障害物がどの位置にあるか
を求め、その求めた位置に障害物であることを示す画像
（障害物画像）を書き込む処理を行う。例えば超音波セ
ンサ８により、障害物との距離や大きさが分かった場合
には、その障害物の情報に基づいて、障害物に大きさに
比例した赤色のリングを（合成鳥瞰図画像に対して）障
害物がある位置に書き込む。
【００５４】そして、この障害物画像を書き込んだ合成
鳥瞰図画像（書込合成鳥瞰図画像）を、画像メモリＢに
記憶し、この画像メモリＢに記憶した書込合成鳥瞰図画
像を、モニタ３に表示する。尚、合成鳥瞰図画像を作成
する際には、自車両の位置やカメラ１の視野角の画像な
ども加入して画像メモリＢに記憶し、その合成鳥瞰図画
像をモニタ５の画面に表示してもよいが、自車両の位置
やカメラ１の視野角の画像などは画像メモリＢに記憶せ
ずに、モニタ５に画像メモリＢに記憶した合成鳥瞰図画
像を描画する際に、自車両の位置やカメラ１の視野角の
画像など加えて描画してもよい。
鳥瞰図画像（書込合成鳥瞰図画像）を、画像メモリＢに
記憶し、この画像メモリＢに記憶した書込合成鳥瞰図画
像を、モニタ３に表示する。尚、合成鳥瞰図画像を作成
する際には、自車両の位置やカメラ１の視野角の画像な
ども加入して画像メモリＢに記憶し、その合成鳥瞰図画
像をモニタ５の画面に表示してもよいが、自車両の位置
やカメラ１の視野角の画像などは画像メモリＢに記憶せ
ずに、モニタ５に画像メモリＢに記憶した合成鳥瞰図画
像を描画する際に、自車両の位置やカメラ１の視野角の
画像など加えて描画してもよい。
【００５５】ｃ）次に、前記画像処理ユニット５等にて
行われる処理を、図７のフローチャートに基づいて説明
する。図７に示す様に、まず、ステップ１００にて、シ
フト位置がバックであるか否かを判定する。ここで肯定
判断されるとステップ１１０に進み、一方否定判断され
るとステップ２１０に進む。
行われる処理を、図７のフローチャートに基づいて説明
する。図７に示す様に、まず、ステップ１００にて、シ
フト位置がバックであるか否かを判定する。ここで肯定
判断されるとステップ１１０に進み、一方否定判断され
るとステップ２１０に進む。
【００５６】尚、シフト位置は、シフト位置検出センサ
（図示せず）からの信号や、他の電子制御装置からの信
号により検出することができる。ステップ２１０では、
以前に描画したカメラの視野外の領域の画像を消去し、
即ち、現在のカメラの画像（鳥瞰図画像）のみを表示
し、前記ステップ１００に戻る。
（図示せず）からの信号や、他の電子制御装置からの信
号により検出することができる。ステップ２１０では、
以前に描画したカメラの視野外の領域の画像を消去し、
即ち、現在のカメラの画像（鳥瞰図画像）のみを表示
し、前記ステップ１００に戻る。
【００５７】一方、ステップ１１０では、カメラ１で撮
影した画像の座標変換（前記鳥瞰図変換）を行って、鳥
瞰図画像を作成する。続くステップ１２０では、前記鳥
瞰図画像を画像メモリＡに記憶する。尚、このときに
は、画像メモリＢにも同様な鳥瞰図画像を記憶する。
影した画像の座標変換（前記鳥瞰図変換）を行って、鳥
瞰図画像を作成する。続くステップ１２０では、前記鳥
瞰図画像を画像メモリＡに記憶する。尚、このときに
は、画像メモリＢにも同様な鳥瞰図画像を記憶する。
【００５８】続くステップ１３０では、車速信号及びヨ
ーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣ
で示される車両の動き量（移動量）を求める。続くステ
ップ１４０では、車両の移動量に基づいて、前記画像メ
モリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰
図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの
移動後鳥瞰図画像）を求める。
ーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣ
で示される車両の動き量（移動量）を求める。続くステ
ップ１４０では、車両の移動量に基づいて、前記画像メ
モリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰
図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの
移動後鳥瞰図画像）を求める。
【００５９】続くステップ１５０では、新たに撮影され
て画像メモリＡに記憶された（時刻Ｔ＋１における）第
２鳥瞰図画像を、画像メモリＡから読み込む。続くステ
ップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像と
を合成して合成鳥瞰図画像を作成する。
て画像メモリＡに記憶された（時刻Ｔ＋１における）第
２鳥瞰図画像を、画像メモリＡから読み込む。続くステ
ップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像と
を合成して合成鳥瞰図画像を作成する。
【００６０】具体的には、図８に示す様に、新たな（第
２鳥瞰図画像に対応する）カメラ視野の外に、今回の車
両の移動によりカメラ視野外となった部分、即ち、第１
鳥瞰図画像を車両の移動量に対応して移動させて形成し
た移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と
重なる部分は除いたもの）を書き込むようにして、合成
鳥瞰図画像を作成する。
２鳥瞰図画像に対応する）カメラ視野の外に、今回の車
両の移動によりカメラ視野外となった部分、即ち、第１
鳥瞰図画像を車両の移動量に対応して移動させて形成し
た移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と
重なる部分は除いたもの）を書き込むようにして、合成
鳥瞰図画像を作成する。
【００６１】尚、同図で車両は参考にために記載したも
のであり、実際には、例えばモニタ画面の描画の際に、
車両を示す枠等を描画する。続くステップ１７０では、
超音波センサ８からの信号に基づいて、障害物の位置及
び障害物の大きさを求める。
のであり、実際には、例えばモニタ画面の描画の際に、
車両を示す枠等を描画する。続くステップ１７０では、
超音波センサ８からの信号に基づいて、障害物の位置及
び障害物の大きさを求める。
【００６２】続くステップ１８０では、検出した障害物
の情報に基づいて、障害物を示す画像（例えば赤色のリ
ング）を、合成鳥瞰図画像に対して障害物が存在する位
置に書き込む。これによって、障害物画像が書き込まれ
た合成鳥瞰図画像（書込合成鳥瞰図画像）が作成され
る。
の情報に基づいて、障害物を示す画像（例えば赤色のリ
ング）を、合成鳥瞰図画像に対して障害物が存在する位
置に書き込む。これによって、障害物画像が書き込まれ
た合成鳥瞰図画像（書込合成鳥瞰図画像）が作成され
る。
【００６３】続くステップ１９０では、書込合成鳥瞰図
画像を、画像メモリＢに記憶する。続くステップ２００
では、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＢに記憶した書込合成鳥瞰図画像をモニ
タ５に表示し、一旦本処理を終了する。
画像を、画像メモリＢに記憶する。続くステップ２００
では、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＢに記憶した書込合成鳥瞰図画像をモニ
タ５に表示し、一旦本処理を終了する。
【００６４】以後同様な処理を、新たにカメラ１で撮影
された画像が取り込まれる毎に実施する。つまり、次回
には、書込合成鳥瞰図画像を車両の移動に応じて移動さ
せて移動後鳥瞰図画像を作成し、その（障害物画像を含
む）移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成
して、障害物がある場合には障害物画像を加えてモニタ
３に表示する画像を作成し、以後同様な処理を繰り返し
てゆく。
された画像が取り込まれる毎に実施する。つまり、次回
には、書込合成鳥瞰図画像を車両の移動に応じて移動さ
せて移動後鳥瞰図画像を作成し、その（障害物画像を含
む）移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成
して、障害物がある場合には障害物画像を加えてモニタ
３に表示する画像を作成し、以後同様な処理を繰り返し
てゆく。
【００６５】尚、毎回検出される障害物が、画像におい
て同じ位置にある場合、例えば駐車枠の角に障害物があ
り、画面が移動しても同様に駐車枠の角に障害物がある
様な場合には、同一の（固定の）障害物であると見なし
て、同じ障害物の画像を表示する。
て同じ位置にある場合、例えば駐車枠の角に障害物があ
り、画面が移動しても同様に駐車枠の角に障害物がある
様な場合には、同一の（固定の）障害物であると見なし
て、同じ障害物の画像を表示する。
【００６６】ｄ）この様に、本実施例では、カメラ１で
撮影した画像を鳥瞰図画像に変換し、車両信号に基づい
て車両の移動量を検出し、その車両の移動量に応じて鳥
瞰図画像を移動させて移動後鳥瞰図画像を作成してい
る。そして、移動後鳥瞰図画像と新たに読み込んだ鳥瞰
図画像とを合成して合成鳥瞰図画像を作成し、その合成
鳥瞰図画像に、（超音波センサ８からの信号によって求
めた）障害物画像を加えるとともに、自車両及び視野角
の画像を加えて、モニタ５の画面に表示している。
撮影した画像を鳥瞰図画像に変換し、車両信号に基づい
て車両の移動量を検出し、その車両の移動量に応じて鳥
瞰図画像を移動させて移動後鳥瞰図画像を作成してい
る。そして、移動後鳥瞰図画像と新たに読み込んだ鳥瞰
図画像とを合成して合成鳥瞰図画像を作成し、その合成
鳥瞰図画像に、（超音波センサ８からの信号によって求
めた）障害物画像を加えるとともに、自車両及び視野角
の画像を加えて、モニタ５の画面に表示している。
【００６７】つまり、本実施例では、車両が移動する際
にカメラ視野から外れた領域を推定し、合成することに
よって、通常はカメラ視野外となる表示できない部分も
含めて表示することができるので、図９に示す様に、自
車両と駐車枠との位置関係が明瞭に把握できる。そのた
め、バックで駐車する操作などが容易になる。
にカメラ視野から外れた領域を推定し、合成することに
よって、通常はカメラ視野外となる表示できない部分も
含めて表示することができるので、図９に示す様に、自
車両と駐車枠との位置関係が明瞭に把握できる。そのた
め、バックで駐車する操作などが容易になる。
【００６８】尚、前記図９では、車両が駐車枠に対し
て、回転移動した後に後方に直線的に移動する際に、本
実施例の手法によって演算処理されたモニタ３の表示画
面を、（ａ）、（ｂ）、（ｃ）と順を追って示してい
る。特に本実施例では、例えば図９（ｂ）に示す様に、
カメラ１の視野外に障害物が存在する場合（又は進入し
た場合）でも、障害物の位置をモニタに表示できるの
で、リアルタイムで車両の周囲を監視でき、安全性が向
上するという利点がある。
て、回転移動した後に後方に直線的に移動する際に、本
実施例の手法によって演算処理されたモニタ３の表示画
面を、（ａ）、（ｂ）、（ｃ）と順を追って示してい
る。特に本実施例では、例えば図９（ｂ）に示す様に、
カメラ１の視野外に障害物が存在する場合（又は進入し
た場合）でも、障害物の位置をモニタに表示できるの
で、リアルタイムで車両の周囲を監視でき、安全性が向
上するという利点がある。
【００６９】また、本実施例では、一旦モニタに表示さ
れた画像（即ち書込合成鳥瞰図画像として作成された画
像）には、障害物画像が残っており、その後、再度画像
メモリＢの画像データを用いて、新たな合成鳥瞰図画像
が作成される場合には、その画像には障害物画像が残っ
ている。よって、特に障害物が移動しない場合には、図
９（ｃ）に示す様に、車両が移動した場合でも、元の位
置に障害物画像を残して置くことができるので、運転者
に対して注意を喚起することができるという利点があ
る。 （実施例２）次に、実施例２について説明するが、前記
実施例１と同様な箇所の説明は省略する。
れた画像（即ち書込合成鳥瞰図画像として作成された画
像）には、障害物画像が残っており、その後、再度画像
メモリＢの画像データを用いて、新たな合成鳥瞰図画像
が作成される場合には、その画像には障害物画像が残っ
ている。よって、特に障害物が移動しない場合には、図
９（ｃ）に示す様に、車両が移動した場合でも、元の位
置に障害物画像を残して置くことができるので、運転者
に対して注意を喚起することができるという利点があ
る。 （実施例２）次に、実施例２について説明するが、前記
実施例１と同様な箇所の説明は省略する。
【００７０】本実施例は、障害物画像を書き込んだ合成
鳥瞰図画像を次の合成鳥瞰図画像の作成の際に用いるも
のではなく、毎回新たな障害物画像を合成鳥瞰図画像に
書き込んで、モニタに表示するものである。 ａ）本実施例では、図１０に示す様に、カメラ１から読
み込んで鳥瞰図画像に変換した鳥瞰図画像の画像データ
を画像メモリＡに記憶し、（障害物画像が書き込まれて
いない）合成鳥瞰図画像の画像データを画像メモリＢに
記憶し、障害物画像の画像データを画像メモリＣに記憶
し、（障害物画像が書き込まれ）モニタに表示される書
込合成鳥瞰図画像を画像メモリＤに記憶する。
鳥瞰図画像を次の合成鳥瞰図画像の作成の際に用いるも
のではなく、毎回新たな障害物画像を合成鳥瞰図画像に
書き込んで、モニタに表示するものである。 ａ）本実施例では、図１０に示す様に、カメラ１から読
み込んで鳥瞰図画像に変換した鳥瞰図画像の画像データ
を画像メモリＡに記憶し、（障害物画像が書き込まれて
いない）合成鳥瞰図画像の画像データを画像メモリＢに
記憶し、障害物画像の画像データを画像メモリＣに記憶
し、（障害物画像が書き込まれ）モニタに表示される書
込合成鳥瞰図画像を画像メモリＤに記憶する。
【００７１】ｂ）本実施例では、図１１のフローチャー
トに示す様に、ステップ３００にて、前記実施例１の手
法により、新たな鳥瞰図画像と移動後鳥瞰図画像とを合
成して合成鳥瞰図画像を作成する。続くステップ３１０
では、画像メモリＢに合成鳥瞰図画像に記憶する。
トに示す様に、ステップ３００にて、前記実施例１の手
法により、新たな鳥瞰図画像と移動後鳥瞰図画像とを合
成して合成鳥瞰図画像を作成する。続くステップ３１０
では、画像メモリＢに合成鳥瞰図画像に記憶する。
【００７２】続くステップ３２０では、超音波センサ８
によって障害物の位置等を検出する。 続くステップ３
３０では、障害物を示す画像のデータ、即ち障害物画像
の位置や大きさ等を示すデータを、画像メモリＣに記憶
する。続くステップ３４０では、前記画像メモリＢから
合成鳥瞰図画像の画像データを読み出すとともに、画像
メモリＣから障害物画像の画像データを読み出す。
によって障害物の位置等を検出する。 続くステップ３
３０では、障害物を示す画像のデータ、即ち障害物画像
の位置や大きさ等を示すデータを、画像メモリＣに記憶
する。続くステップ３４０では、前記画像メモリＢから
合成鳥瞰図画像の画像データを読み出すとともに、画像
メモリＣから障害物画像の画像データを読み出す。
【００７３】続くステップ３５０では、合成鳥瞰図画像
に障害物画像を書き込んで書込合成鳥瞰図画像を作成す
る。続くステップ３６０では、書込合成鳥瞰図画像を画
像メモリＤに記憶する。続くステップ３７０では、画像
メモリＤに記憶されたを書込合成鳥瞰図画像をモニタ３
に表示し、一旦本処理を終了する。
に障害物画像を書き込んで書込合成鳥瞰図画像を作成す
る。続くステップ３６０では、書込合成鳥瞰図画像を画
像メモリＤに記憶する。続くステップ３７０では、画像
メモリＤに記憶されたを書込合成鳥瞰図画像をモニタ３
に表示し、一旦本処理を終了する。
【００７４】以後同様な処理を、新たにカメラ１で撮影
された画像が取り込まれる毎に実施する。つまり、次の
合成鳥瞰図画像を作成する場合には、画像メモリＢから
（障害物画像を含まない）合成鳥瞰図画像を読み出し、
車両の移動に合わせて移動後鳥瞰図画像を作成し、その
（障害物画像を含まない）移動後鳥瞰図画像と新たな第
２鳥瞰図画像とを合成して、新たなに合成鳥瞰図画像を
作成する。そして、新たに障害物がある場合には障害物
画像を書き込んで、モニタ３に表示し、以後同様な処理
を繰り返すのである。
された画像が取り込まれる毎に実施する。つまり、次の
合成鳥瞰図画像を作成する場合には、画像メモリＢから
（障害物画像を含まない）合成鳥瞰図画像を読み出し、
車両の移動に合わせて移動後鳥瞰図画像を作成し、その
（障害物画像を含まない）移動後鳥瞰図画像と新たな第
２鳥瞰図画像とを合成して、新たなに合成鳥瞰図画像を
作成する。そして、新たに障害物がある場合には障害物
画像を書き込んで、モニタ３に表示し、以後同様な処理
を繰り返すのである。
【００７５】ｃ）この様に、本実施例では、モニタに画
像を表示する際に、合成鳥瞰図画像に障害物画像を書き
込み、その書込合成鳥瞰図画像をモニタに表示してい
る。つまり、新たに移動後鳥瞰図画像を作成する場合に
は、障害物画像が書き込まれていない合成鳥瞰図画像を
用いている。
像を表示する際に、合成鳥瞰図画像に障害物画像を書き
込み、その書込合成鳥瞰図画像をモニタに表示してい
る。つまり、新たに移動後鳥瞰図画像を作成する場合に
は、障害物画像が書き込まれていない合成鳥瞰図画像を
用いている。
【００７６】従って、特に障害物が移動する場合には、
過去の障害物画像ではなく、常に最新の障害物画像をモ
ニタ３に表示できるので、リアルタイムで車両の周囲を
監視でき、一層運転操作の安全性が向上するという効果
がある。この様に、カメラ１の視野外を過去の画像を用
いて表示する場合には、障害物が例えば車両や人の様に
移動しているときには、過去の障害物の位置を表示して
も、運転者に正確な障害物の情報を提供できるとは限ら
ないので、本実施例では、最新の障害物の位置等に関す
る情報をモニタ３に表示することにより、一層運転の安
全性の向上に寄与するものである。
過去の障害物画像ではなく、常に最新の障害物画像をモ
ニタ３に表示できるので、リアルタイムで車両の周囲を
監視でき、一層運転操作の安全性が向上するという効果
がある。この様に、カメラ１の視野外を過去の画像を用
いて表示する場合には、障害物が例えば車両や人の様に
移動しているときには、過去の障害物の位置を表示して
も、運転者に正確な障害物の情報を提供できるとは限ら
ないので、本実施例では、最新の障害物の位置等に関す
る情報をモニタ３に表示することにより、一層運転の安
全性の向上に寄与するものである。
【００７７】尚、本発明は前記実施例になんら限定され
るものではなく、本発明を逸脱しない範囲において種々
の態様で実施しうることはいうまでもない。例えば前記
実施例では、車両周辺画像処理装置について述べたが、
この装置による処理を実行させる手段を記憶している記
録媒体も、本発明の範囲である。
るものではなく、本発明を逸脱しない範囲において種々
の態様で実施しうることはいうまでもない。例えば前記
実施例では、車両周辺画像処理装置について述べたが、
この装置による処理を実行させる手段を記憶している記
録媒体も、本発明の範囲である。
【００７８】（１）例えば記録媒体としては、マイクロ
コンピュータとして構成される電子制御装置、マイクロ
チップ、フロッピィディスク、ハードディスク、光ディ
スク等の各種の記録媒体が挙げられる。つまり、上述し
た車両周辺画像処理装置の処理を実行させることができ
る例えばプログラム等の手段を記憶したものであれば、
特に限定はない。
コンピュータとして構成される電子制御装置、マイクロ
チップ、フロッピィディスク、ハードディスク、光ディ
スク等の各種の記録媒体が挙げられる。つまり、上述し
た車両周辺画像処理装置の処理を実行させることができ
る例えばプログラム等の手段を記憶したものであれば、
特に限定はない。
【００７９】（２）また、前記実施例では、車両の移動
状態を車速センサやヨーレートセンサを用いて検出し、
その情報に基づいて移動後鳥瞰図画像を作成する様にし
たが、例えばカメラで撮影した画像（鳥瞰図画像）の動
きベクトルを求め、この動きベクトルから車両の移動状
態を推定して、移動後鳥瞰図画像を求めてもよい。
状態を車速センサやヨーレートセンサを用いて検出し、
その情報に基づいて移動後鳥瞰図画像を作成する様にし
たが、例えばカメラで撮影した画像（鳥瞰図画像）の動
きベクトルを求め、この動きベクトルから車両の移動状
態を推定して、移動後鳥瞰図画像を求めてもよい。
【００８０】例えばいわゆる画像のマッチングの処理に
より、第１鳥瞰図画像とそれより後の第２鳥瞰図画像と
の移動状態を検出し、その画像の移動状態から車両の移
動状態を求めるようにしてもよい。
より、第１鳥瞰図画像とそれより後の第２鳥瞰図画像と
の移動状態を検出し、その画像の移動状態から車両の移
動状態を求めるようにしてもよい。
【図１】 実施例１の車両周辺画像処理装置の主要構成
を示す説明図である。
を示す説明図である。
【図２】 実施例１の車両周辺画像処理装置の電気的構
成を示す説明図である。
成を示す説明図である。
【図３】 実施例１の車両に配置された超音波センサの
位置や検出領域を示す説明図である。
位置や検出領域を示す説明図である。
【図４】 実施例１の車両周辺画像処理装置により用い
られる画像を示し、（ａ）はカメラにより撮影された画
像の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
られる画像を示し、（ａ）はカメラにより撮影された画
像の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図５】 実施例１の車両周辺画像処理装置による座標
変換の際の位置関係を示す説明図である。
変換の際の位置関係を示す説明図である。
【図６】 実施例１の車両周辺画像処理装置による車両
の移動量を求めるための手法を示す説明図である。
の移動量を求めるための手法を示す説明図である。
【図７】 実施例１の車両周辺画像処理装置の処理を示
すフローチャートである。
すフローチャートである。
【図８】 実施例１の車両周辺画像処理装置のよる画像
作成の手順を示す説明図である。
作成の手順を示す説明図である。
【図９】 実施例１の車両周辺画像処理装置により表示
されるモニタ画像を示
されるモニタ画像を示
【図１０】 実施例２の車両周辺画像処理装置のメモリ
等の構成を示す説明図である。
等の構成を示す説明図である。
【図１１】 実施例２の車両周辺画像処理装置の処理を
示すフローチャートである。
示すフローチャートである。
１…カメラ
３…車載モニタ（モニタ）
５…車速センサ
７…ヨーレイトセンサ
８…超音波センサ
９…画像処理ユニット
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ
Ｋ
Ｕ
(72)発明者 林 育生
愛知県西尾市下羽角町岩谷14番地 株式会
社日本自動車部品総合研究所内
(72)発明者 柳川 博彦
愛知県刈谷市昭和町１丁目１番地 株式会
社デンソー内
(72)発明者 石川 哲理
愛知県刈谷市昭和町１丁目１番地 株式会
社デンソー内
Ｆターム(参考） 5B057 AA06 BA02 BA05 CA08 CA12
CA16 CB08 CB12 CB16 CC01
CD11 CE08 CE10 DA16 DA17
5C054 AA01 CH01 EA01 EA05 EA07
FC11 FD00 FE12 FE28 GB01
GB15 HA30
5H180 CC04 CC11 LL02 LL04 LL17
Claims (10)
- 【請求項１】 車両周辺の画像を撮影する撮影手段と、
画像を表示する表示手段とを備えた車両に対して、前記
撮影手段により撮影された画像を処理して前記表示手段
に表示する車両周辺画像処理装置において、 前記撮影手段により撮影した画像に基づいて、その鳥瞰
図画像を作成する鳥瞰図画像作成手段と、 前記鳥瞰図画像作成手段によって作成された第１鳥瞰図
画像を、前記車両の移動状態に応じて移動させて、移動
後鳥瞰図画像を作成する鳥瞰図画像移動手段と、 前記第１鳥瞰図画像より後に撮影されて作成された第２
鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合
成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、 前記車両の周囲にある障害物を検出する障害物検出手段
と、 前記障害物検出手段によって検出された障害物を示す画
像を、前記合成鳥瞰図画像に加入して、前記表示手段に
表示する障害物表示手段と、 を備えたことを特徴とする車両周辺画像処理装置。 - 【請求項２】 前記障害物を示す画像を加入した合成鳥
瞰図画像を記憶しておき、この障害物の画像を加入した
合成鳥瞰図画像と新たな前記第２鳥瞰図画像とを合成し
て、新たな合成鳥瞰図画像を作成することを特徴とする
前記請求項１に記載の車両周辺画像処理装置。 - 【請求項３】 前記鳥瞰図画像作成手段により作成され
た鳥瞰図画像の画像データを記憶するメモリＡと、 前記合成鳥瞰図画像作成手段により作成された合成鳥瞰
図画像の画像データを記憶するメモリＢと、 を備えたことを特徴とする前記請求項１又は２に記載の
車両周辺画像処理装置。 - 【請求項４】 前記障害物を示す画像を加入しない合成
鳥瞰図画像を記憶しておき、この障害物の画像を加入し
ない合成鳥瞰図画像と新たな前記第２鳥瞰図画像とを合
成して、新たな合成鳥瞰図画像を作成することを特徴と
する前記請求項１に記載の車両周辺画像処理装置。 - 【請求項５】 前記表示手段に画像を表示する際に、前
記合成鳥瞰図画像に前記障害物を示す画像を加入して、
前記表示手段に表示することを特徴とする前記請求項１
又は２に記載の車両周辺画像処理装置。 - 【請求項６】 前記鳥瞰図画像作成手段により作成され
た鳥瞰図画像の画像データを記憶するメモリＡと、 前記合成鳥瞰図画像作成手段により作成された合成鳥瞰
図画像の画像データを記憶するメモリＢと、 前記障害物を示す画像データを記憶するメモリＣと、 を備えたことを特徴とする前記請求項４に記載の車両周
辺画像処理装置。 - 【請求項７】 前記合成鳥瞰図画像は、前記第２鳥瞰図
画像を表示する表示領域以外に、前記移動後鳥瞰図画像
を加入した画像であることを特徴とする前記請求項１〜
６のいずれかに記載の車両周辺画像処理装置。 - 【請求項８】 前記合成鳥瞰図画像に用いる第２鳥瞰図
画像として、最新の鳥瞰図画像を用いることを特徴とす
る前記請求項１〜７のいずれかに記載の車両周辺画像処
理装置。 - 【請求項９】 前記表示手段に前記合成鳥瞰図画像を表
示する場合には、自車両を示す画像を加えて表示するこ
とを特徴とする前記請求項１〜８のいずれかに記載の車
両周辺画像処理装置。 - 【請求項１０】 前記請求項１〜９のいずれかに記載の
車両周辺画像処理装置による処理を実行させる手段を記
憶していることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001215066A JP4071463B2 (ja) | 2001-07-16 | 2001-07-16 | 車両周辺画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001215066A JP4071463B2 (ja) | 2001-07-16 | 2001-07-16 | 車両周辺画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003030627A true JP2003030627A (ja) | 2003-01-31 |
| JP4071463B2 JP4071463B2 (ja) | 2008-04-02 |
Family
ID=19049773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001215066A Expired - Fee Related JP4071463B2 (ja) | 2001-07-16 | 2001-07-16 | 車両周辺画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4071463B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004114976A (ja) * | 2002-09-30 | 2004-04-15 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
| JP2006131166A (ja) * | 2004-11-09 | 2006-05-25 | Alpine Electronics Inc | 運転支援装置 |
| GB2431903A (en) * | 2005-11-04 | 2007-05-09 | Denso Corp | Vehicle parking assisting system and method |
| JP2008021161A (ja) * | 2006-07-13 | 2008-01-31 | Mitsubishi Fuso Truck & Bus Corp | 走行状態判定装置 |
| CN100401323C (zh) * | 2004-08-05 | 2008-07-09 | 株式会社东芝 | 监视设备以及显示鸟瞰视图的方法 |
| JP2008163719A (ja) * | 2007-01-05 | 2008-07-17 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
| JP2008257403A (ja) * | 2007-04-03 | 2008-10-23 | Denso Corp | 車両用運転支援装置 |
| WO2011016368A1 (ja) | 2009-08-03 | 2011-02-10 | アイシン精機株式会社 | 車両周辺画像生成装置 |
| WO2015122124A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
| JP2017517174A (ja) * | 2014-04-04 | 2017-06-22 | ワイズ オートモーティブ コーポレーションＷｉｓｅ Ａｕｔｏｍｏｔｉｖｅ Ｃｏｒｐｏｒａｔｉｏｎ | 車両周辺イメージ生成装置および方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3389026A1 (en) * | 2017-04-12 | 2018-10-17 | Volvo Car Corporation | Apparatus and method for road vehicle driver assistance |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07229961A (ja) * | 1994-02-22 | 1995-08-29 | Hitachi Ltd | 車両周囲の物体検知装置及び車両周囲の物体検知方法 |
| WO2000007373A1 (fr) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Procede et appareil d'affichage d'images |
| JP2001114047A (ja) * | 1999-10-20 | 2001-04-24 | Matsushita Electric Ind Co Ltd | 車両周囲状況提示装置 |
| JP2001120042A (ja) * | 1999-10-22 | 2001-05-08 | Hokuriku Natl Agricultural Experiment Station | 画像マッピングシステム |
-
2001
- 2001-07-16 JP JP2001215066A patent/JP4071463B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07229961A (ja) * | 1994-02-22 | 1995-08-29 | Hitachi Ltd | 車両周囲の物体検知装置及び車両周囲の物体検知方法 |
| WO2000007373A1 (fr) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Procede et appareil d'affichage d'images |
| JP2001114047A (ja) * | 1999-10-20 | 2001-04-24 | Matsushita Electric Ind Co Ltd | 車両周囲状況提示装置 |
| JP2001120042A (ja) * | 1999-10-22 | 2001-05-08 | Hokuriku Natl Agricultural Experiment Station | 画像マッピングシステム |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004114976A (ja) * | 2002-09-30 | 2004-04-15 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
| CN100401323C (zh) * | 2004-08-05 | 2008-07-09 | 株式会社东芝 | 监视设备以及显示鸟瞰视图的方法 |
| JP4573242B2 (ja) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | 運転支援装置 |
| JP2006131166A (ja) * | 2004-11-09 | 2006-05-25 | Alpine Electronics Inc | 運転支援装置 |
| GB2431903A (en) * | 2005-11-04 | 2007-05-09 | Denso Corp | Vehicle parking assisting system and method |
| JP2007128320A (ja) * | 2005-11-04 | 2007-05-24 | Denso Corp | 駐車支援システム |
| US7272477B2 (en) | 2005-11-04 | 2007-09-18 | Denso Corporation | Vehicle parking assisting system and method |
| DE102006051976B4 (de) * | 2005-11-04 | 2013-09-05 | Denso Corporation | Fahrzeugparkassistenzverfahren |
| JP4682809B2 (ja) * | 2005-11-04 | 2011-05-11 | 株式会社デンソー | 駐車支援システム |
| GB2431903B (en) * | 2005-11-04 | 2009-09-16 | Denso Corp | Vehicle parking assisting system and method |
| JP2008021161A (ja) * | 2006-07-13 | 2008-01-31 | Mitsubishi Fuso Truck & Bus Corp | 走行状態判定装置 |
| JP2008163719A (ja) * | 2007-01-05 | 2008-07-17 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
| JP2008257403A (ja) * | 2007-04-03 | 2008-10-23 | Denso Corp | 車両用運転支援装置 |
| WO2011016368A1 (ja) | 2009-08-03 | 2011-02-10 | アイシン精機株式会社 | 車両周辺画像生成装置 |
| US9156402B2 (en) | 2009-08-03 | 2015-10-13 | Aisin Seiki Kabushiki Kaisha | Wide view vehicle periphery image generation apparatus |
| WO2015122124A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
| JP2015154125A (ja) * | 2014-02-12 | 2015-08-24 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
| CN106031166A (zh) * | 2014-02-12 | 2016-10-12 | 株式会社电装 | 车辆周边图像显示装置和车辆周边图像显示方法 |
| CN106031166B (zh) * | 2014-02-12 | 2018-12-25 | 株式会社电装 | 车辆周边图像显示装置和车辆周边图像显示方法 |
| JP2017517174A (ja) * | 2014-04-04 | 2017-06-22 | ワイズ オートモーティブ コーポレーションＷｉｓｅ Ａｕｔｏｍｏｔｉｖｅ Ｃｏｒｐｏｒａｔｉｏｎ | 車両周辺イメージ生成装置および方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4071463B2 (ja) | 2008-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4156214B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| EP2192552B1 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| EP2429877B1 (en) | Camera system for use in vehicle parking | |
| JP4863791B2 (ja) | 車両周辺画像生成装置および画像切替方法 | |
| JP4556742B2 (ja) | 車両直下画像表示制御装置および車両直下画像表示制御プログラム | |
| JP3475507B2 (ja) | 車両用周囲モニタ装置 | |
| US8553081B2 (en) | Apparatus and method for displaying an image of vehicle surroundings | |
| US20110169957A1 (en) | Vehicle Image Processing Method | |
| JP2009060499A (ja) | 運転支援システム及び連結車両 | |
| JP4759878B2 (ja) | 車両用駐車支援装置 | |
| JP2006268076A (ja) | 運転支援システム | |
| JP2002354467A (ja) | 車両周囲情報表示装置 | |
| JP2007102798A (ja) | 車両周辺監視システム | |
| JP2003030627A (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2004120661A (ja) | 移動体周辺監視装置 | |
| JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP3395393B2 (ja) | 車両周囲表示装置 | |
| JP2007134961A (ja) | 車両検出装置及びこれを用いた車両用表示装置 | |
| JP2004252837A (ja) | 車両周辺表示装置および車両周辺表示プログラム | |
| JP3900415B2 (ja) | 車両周辺画像処理装置，プログラム及び記録媒体 | |
| JP3850271B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2006252577A (ja) | 地図データ生成装置 | |
| JP3813085B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP5518407B2 (ja) | 車両用障害物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070427 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070606 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080117 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4071463 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |