JP2003189292A - 車両周辺画像処理装置及び記録媒体 - Google Patents
車両周辺画像処理装置及び記録媒体Info
- Publication number
- JP2003189292A JP2003189292A JP2001384588A JP2001384588A JP2003189292A JP 2003189292 A JP2003189292 A JP 2003189292A JP 2001384588 A JP2001384588 A JP 2001384588A JP 2001384588 A JP2001384588 A JP 2001384588A JP 2003189292 A JP2003189292 A JP 2003189292A
- Authority
- JP
- Japan
- Prior art keywords
- image
- bird
- eye view
- view image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 239000002131 composite material Substances 0.000 claims abstract description 14
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 274
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 265
- 230000002093 peripheral effect Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims 4
- 230000008878 coupling Effects 0.000 claims 4
- 238000010168 coupling process Methods 0.000 claims 4
- 238000005859 coupling reaction Methods 0.000 claims 4
- 238000003786 synthesis reaction Methods 0.000 claims 4
- 230000009466 transformation Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100022005 B-lymphocyte antigen CD20 Human genes 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000897405 Homo sapiens B-lymphocyte antigen CD20 Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101001005708 Homo sapiens MARVEL domain-containing protein 1 Proteins 0.000 description 1
- 102100025069 MARVEL domain-containing protein 1 Human genes 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 車両周囲の状況をより好適に把握することが
できる車両周辺画像処理装置及び記録媒体を提供するこ
と。 【解決手段】 ステップ１１０では、前カメラ１及び後
カメラ２で撮影した画像の座標変換を行って、各第１鳥
瞰図画像を作成する。ステップ１３０では、画像メモリ
Ａ及び画像メモリＢに記憶されている各第１鳥瞰図画像
を結合して結合鳥瞰図画像を作成する。ステップ１４０
では、車速信号及びヨーレイト信号に基づいて、移動距
離Ｌ及び回転角度θＣで示される車両の動き量を求め
る。ステップ１５０では、車両の移動量に基づいて、結
合鳥瞰図画像を移動させて、移動後鳥瞰図画像を求め
る。ステップ１６０では、新たに撮影されて画像メモリ
Ａ及び画像メモリＢに記憶された第２鳥瞰図画像と移動
後鳥瞰図画像とを合成して結合合成鳥瞰図画像を作成す
る。
できる車両周辺画像処理装置及び記録媒体を提供するこ
と。 【解決手段】 ステップ１１０では、前カメラ１及び後
カメラ２で撮影した画像の座標変換を行って、各第１鳥
瞰図画像を作成する。ステップ１３０では、画像メモリ
Ａ及び画像メモリＢに記憶されている各第１鳥瞰図画像
を結合して結合鳥瞰図画像を作成する。ステップ１４０
では、車速信号及びヨーレイト信号に基づいて、移動距
離Ｌ及び回転角度θＣで示される車両の動き量を求め
る。ステップ１５０では、車両の移動量に基づいて、結
合鳥瞰図画像を移動させて、移動後鳥瞰図画像を求め
る。ステップ１６０では、新たに撮影されて画像メモリ
Ａ及び画像メモリＢに記憶された第２鳥瞰図画像と移動
後鳥瞰図画像とを合成して結合合成鳥瞰図画像を作成す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば車両の周辺
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。
【０００２】
【従来の技術】従来より、車両の後方の様子を表示する
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。
【０００３】また、これとは別に、特開平１０−２１１
８４９号公報には、後方カメラで撮影した画像（後方カ
メラ画像）を鳥瞰図に変換し、自車両をその中に表示す
るという技術が提案されている。
８４９号公報には、後方カメラで撮影した画像（後方カ
メラ画像）を鳥瞰図に変換し、自車両をその中に表示す
るという技術が提案されている。
【０００４】
【発明が解決しようとする課題】この技術の場合には、
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。
【０００５】そのため、例えば車両を後退させて駐車枠
に入れるような場合には、カメラの視野外に出た駐車枠
を表示できないので、依然として、車両を駐車枠に入れ
る操作が容易ではないという問題があった。これに対し
て、既に本願発明者らにより、車両後部に取り付けたカ
メラから、車両後方の画像を撮影し、画像処理でこれら
を上から見た鳥瞰画像に変換し、変換した画像の時間的
変化から車両の動きを算出して、カメラの視野外に消え
て行く画像領域を算出し、更に現時刻の変換画像を貼り
付けて（合成画像を作成し）、従来より広い範囲を表示
する技術が開発されている。
に入れるような場合には、カメラの視野外に出た駐車枠
を表示できないので、依然として、車両を駐車枠に入れ
る操作が容易ではないという問題があった。これに対し
て、既に本願発明者らにより、車両後部に取り付けたカ
メラから、車両後方の画像を撮影し、画像処理でこれら
を上から見た鳥瞰画像に変換し、変換した画像の時間的
変化から車両の動きを算出して、カメラの視野外に消え
て行く画像領域を算出し、更に現時刻の変換画像を貼り
付けて（合成画像を作成し）、従来より広い範囲を表示
する技術が開発されている。
【０００６】ところが、上述した技術の場合でも、使用
するカメラは、車両後端の上部等に取り付けられた後方
カメラだけであるので、車両周囲の状況を十分には確認
できないという問題があった。本発明は、前記課題を解
決するためになされたものであり、車両周囲の状況をよ
り好適に把握することができる車両周辺画像処理装置及
び記録媒体を提供することを目的とする。
するカメラは、車両後端の上部等に取り付けられた後方
カメラだけであるので、車両周囲の状況を十分には確認
できないという問題があった。本発明は、前記課題を解
決するためになされたものであり、車両周囲の状況をよ
り好適に把握することができる車両周辺画像処理装置及
び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】（１）請
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。
【０００８】本発明では、車両に撮影手段を複数配置
し、各撮影手段の撮影方向を違えることにより異なる撮
影範囲の撮影を行う。そして、各撮影手段により撮影し
た各画像を、例えば各撮影手段を視点として投影した地
上面座標系のデータに変換して第１鳥瞰図画像の画像デ
ータを順次作成する。これにより、画像は、例えばカメ
ラで撮影したままの歪んだ画像ではなく、地面の上方よ
り見たような見やすい鳥瞰図画像となる。
し、各撮影手段の撮影方向を違えることにより異なる撮
影範囲の撮影を行う。そして、各撮影手段により撮影し
た各画像を、例えば各撮影手段を視点として投影した地
上面座標系のデータに変換して第１鳥瞰図画像の画像デ
ータを順次作成する。これにより、画像は、例えばカメ
ラで撮影したままの歪んだ画像ではなく、地面の上方よ
り見たような見やすい鳥瞰図画像となる。
【０００９】次に、各第１鳥瞰図画像を、各撮影手段の
位置関係を考慮して結合して結合鳥瞰図画像の画像デー
タを作成する。そして、車両の移動状態に対応して、結
合鳥瞰図画像を移動させて移動後鳥瞰図画像の画像デー
タを作成し、この移動後鳥瞰図画像の画像データと、
（第１鳥瞰図画像より）新しい各第２鳥瞰図画像の画像
データとを合成して結合合成鳥瞰図画像の画像データを
作成する。尚、合成に用いる第２鳥瞰図画像は、車両の
進行方向等を考慮して、各第２鳥瞰図画像のうちから適
宜選択してもよい。
位置関係を考慮して結合して結合鳥瞰図画像の画像デー
タを作成する。そして、車両の移動状態に対応して、結
合鳥瞰図画像を移動させて移動後鳥瞰図画像の画像デー
タを作成し、この移動後鳥瞰図画像の画像データと、
（第１鳥瞰図画像より）新しい各第２鳥瞰図画像の画像
データとを合成して結合合成鳥瞰図画像の画像データを
作成する。尚、合成に用いる第２鳥瞰図画像は、車両の
進行方向等を考慮して、各第２鳥瞰図画像のうちから適
宜選択してもよい。
【００１０】つまり、車両が移動するにつれて、例えば
カメラの視野が変化するので、当然、撮影した時間が異
なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ
（撮影された部分の違い）が発生する。そこで、例え
ば、第２鳥瞰図画像に、そのずれの部分（即ち過去に視
野内であったが現在視野から消えている部分）の移動後
の鳥瞰図画像を適宜加味することにより、モニタ等にカ
メラの視野から消えた部分を表示することができる。
カメラの視野が変化するので、当然、撮影した時間が異
なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ
（撮影された部分の違い）が発生する。そこで、例え
ば、第２鳥瞰図画像に、そのずれの部分（即ち過去に視
野内であったが現在視野から消えている部分）の移動後
の鳥瞰図画像を適宜加味することにより、モニタ等にカ
メラの視野から消えた部分を表示することができる。
【００１１】これにより、モニタ等には、単一のカメラ
等で撮影された画像に基づく合成鳥瞰図画像ではなく、
他のカメラ等で撮影された画像を結合した画像に基づく
結合合成鳥瞰図画像を表示できるので、車両の周囲に状
況を正確に把握することができるという効果がある。
等で撮影された画像に基づく合成鳥瞰図画像ではなく、
他のカメラ等で撮影された画像を結合した画像に基づく
結合合成鳥瞰図画像を表示できるので、車両の周囲に状
況を正確に把握することができるという効果がある。
【００１２】また、複数の第１鳥瞰図画像を結合した結
合鳥瞰図画像を移動させるので、下記請求項２又は請求
項３の発明に比べて、結合合成鳥瞰図画像を作成するた
めの演算処理が少なくて済むという利点がある。 （２）請求項２の発明では、車両周辺の画像を撮影する
撮影手段（例えばカメラ）と、画像を表示する表示手段
（例えばモニタ）とを備えた車両に対して、撮影手段に
より撮影された画像を処理して表示手段に表示する車両
周辺画像処理装置に関するものである。
合鳥瞰図画像を移動させるので、下記請求項２又は請求
項３の発明に比べて、結合合成鳥瞰図画像を作成するた
めの演算処理が少なくて済むという利点がある。 （２）請求項２の発明では、車両周辺の画像を撮影する
撮影手段（例えばカメラ）と、画像を表示する表示手段
（例えばモニタ）とを備えた車両に対して、撮影手段に
より撮影された画像を処理して表示手段に表示する車両
周辺画像処理装置に関するものである。
【００１３】本発明では、車両に撮影手段を複数配置
し、各撮影手段の撮影方向を違えることにより異なる撮
影範囲の撮影を行う。そして、各撮影手段により撮影し
た各画像を、例えば各撮影手段を視点として投影した地
上面座標系のデータに変換して第１鳥瞰図画像の画像デ
ータを順次作成する。これにより、画像は、例えばカメ
ラで撮影したままの歪んだ画像ではなく、地面の上方よ
り見たような見やすい鳥瞰図画像となる。
し、各撮影手段の撮影方向を違えることにより異なる撮
影範囲の撮影を行う。そして、各撮影手段により撮影し
た各画像を、例えば各撮影手段を視点として投影した地
上面座標系のデータに変換して第１鳥瞰図画像の画像デ
ータを順次作成する。これにより、画像は、例えばカメ
ラで撮影したままの歪んだ画像ではなく、地面の上方よ
り見たような見やすい鳥瞰図画像となる。
【００１４】次に、各第１鳥瞰図画像を、車両の移動状
態に応じてそれぞれ移動させて、各移動後鳥瞰図画像
し、この各移動後鳥瞰図画像を、各撮影手段の位置関係
を考慮して結合して結合移動後鳥瞰図画像を作成する。
その後、結合移動後鳥瞰図画像と各第２鳥瞰図画像とを
合成して結合移動後鳥瞰図画像の画像データを作成す
る。尚、合成に用いる第２鳥瞰図画像は、車両の進行方
向等を考慮して、各第２鳥瞰図画像のうちから適宜選択
してもよい。
態に応じてそれぞれ移動させて、各移動後鳥瞰図画像
し、この各移動後鳥瞰図画像を、各撮影手段の位置関係
を考慮して結合して結合移動後鳥瞰図画像を作成する。
その後、結合移動後鳥瞰図画像と各第２鳥瞰図画像とを
合成して結合移動後鳥瞰図画像の画像データを作成す
る。尚、合成に用いる第２鳥瞰図画像は、車両の進行方
向等を考慮して、各第２鳥瞰図画像のうちから適宜選択
してもよい。
【００１５】これにより、モニタ等には、単一のカメラ
等で撮影された画像に基づく合成鳥瞰図画像ではなく、
他のカメラ等で撮影された画像を結合した画像に基づく
結合合成鳥瞰図画像を表示できるので、車両の周囲に状
況を正確に把握することができるという効果がある。
等で撮影された画像に基づく合成鳥瞰図画像ではなく、
他のカメラ等で撮影された画像を結合した画像に基づく
結合合成鳥瞰図画像を表示できるので、車両の周囲に状
況を正確に把握することができるという効果がある。
【００１６】（３）請求項３の発明では、車両周辺の画
像を撮影する撮影手段（例えばカメラ）と、画像を表示
する表示手段（例えばモニタ）とを備えた車両に対し
て、撮影手段により撮影された画像を処理して表示手段
に表示する車両周辺画像処理装置に関するものである。
像を撮影する撮影手段（例えばカメラ）と、画像を表示
する表示手段（例えばモニタ）とを備えた車両に対し
て、撮影手段により撮影された画像を処理して表示手段
に表示する車両周辺画像処理装置に関するものである。
【００１７】本発明では、車両に撮影手段を複数配置
し、各撮影手段の撮影方向を違えることにより異なる撮
影範囲の撮影を行う。そして、各撮影手段により撮影し
た各画像を、例えば各撮影手段を視点として投影した地
上面座標系のデータに変換して第１鳥瞰図画像の画像デ
ータを順次作成する。これにより、画像は、例えばカメ
ラで撮影したままの歪んだ画像ではなく、地面の上方よ
り見たような見やすい鳥瞰図画像となる。
し、各撮影手段の撮影方向を違えることにより異なる撮
影範囲の撮影を行う。そして、各撮影手段により撮影し
た各画像を、例えば各撮影手段を視点として投影した地
上面座標系のデータに変換して第１鳥瞰図画像の画像デ
ータを順次作成する。これにより、画像は、例えばカメ
ラで撮影したままの歪んだ画像ではなく、地面の上方よ
り見たような見やすい鳥瞰図画像となる。
【００１８】次に、各第１鳥瞰図画像を、車両の移動状
態に応じてそれぞれ移動させて各移動後鳥瞰図画像し、
この各移動後鳥瞰図画像と各第２鳥瞰図画像とを合成し
て各合成鳥瞰図画像の画像データを作成する。尚、合成
に用いる第２鳥瞰図画像は、車両の進行方向等を考慮し
て、各第２鳥瞰図画像のうちから適宜選択してもよい。
態に応じてそれぞれ移動させて各移動後鳥瞰図画像し、
この各移動後鳥瞰図画像と各第２鳥瞰図画像とを合成し
て各合成鳥瞰図画像の画像データを作成する。尚、合成
に用いる第２鳥瞰図画像は、車両の進行方向等を考慮し
て、各第２鳥瞰図画像のうちから適宜選択してもよい。
【００１９】その後、各合成鳥瞰図画像を、各撮影手段
の位置関係を考慮して結合して結合合成鳥瞰図画像を作
成する。これにより、モニタ等には、単一のカメラ等で
撮影された画像に基づく合成鳥瞰図画像ではなく、他の
カメラ等で撮影された画像を結合した画像に基づく結合
合成鳥瞰図画像を表示できるので、車両の周囲に状況を
正確に把握することができるという効果がある。
の位置関係を考慮して結合して結合合成鳥瞰図画像を作
成する。これにより、モニタ等には、単一のカメラ等で
撮影された画像に基づく合成鳥瞰図画像ではなく、他の
カメラ等で撮影された画像を結合した画像に基づく結合
合成鳥瞰図画像を表示できるので、車両の周囲に状況を
正確に把握することができるという効果がある。
【００２０】（４）請求項４の発明では、複数の撮影手
段の撮影方向は、車両の前方と後方である。本発明は、
例えばカメラの撮影方向を例示したものである。この様
に車両の前後を撮影してモニタ等に表示することによ
り、車両の周囲の状況をより的確に把握することができ
る。
段の撮影方向は、車両の前方と後方である。本発明は、
例えばカメラの撮影方向を例示したものである。この様
に車両の前後を撮影してモニタ等に表示することによ
り、車両の周囲の状況をより的確に把握することができ
る。
【００２１】（５）請求項５の発明では、表示手段に結
合合成鳥瞰図画像を表示する場合には、自車両を示す画
像を加えて表示する。本発明では、車両の周囲の状況を
示す画像に自車両を示す画像を加えて表示することによ
り、自車両と例えば駐車枠との位置関係が明瞭となるの
で、車両の操作が容易になる。
合合成鳥瞰図画像を表示する場合には、自車両を示す画
像を加えて表示する。本発明では、車両の周囲の状況を
示す画像に自車両を示す画像を加えて表示することによ
り、自車両と例えば駐車枠との位置関係が明瞭となるの
で、車両の操作が容易になる。
【００２２】尚、自車両は、車両の写真のような画像、
車両の形状をした絵、枠等のシンボルで表示することが
できる。 （６）請求項６の発明では、車両の周囲の障害物を、障
害物検知センサにより検知した場合には、その検知した
障害物の位置を表示手段に表示する。
車両の形状をした絵、枠等のシンボルで表示することが
できる。 （６）請求項６の発明では、車両の周囲の障害物を、障
害物検知センサにより検知した場合には、その検知した
障害物の位置を表示手段に表示する。
【００２３】例えば超音波センサや電波を利用したレー
ダセンサ等により車両の周囲の障害物を検知した場合に
は、その検知した位置に対応するモニタ上の位置に、障
害物を示すシンボルを表示する。これにより、障害物の
状態が分かるので、車両の操作が容易になる。
ダセンサ等により車両の周囲の障害物を検知した場合に
は、その検知した位置に対応するモニタ上の位置に、障
害物を示すシンボルを表示する。これにより、障害物の
状態が分かるので、車両の操作が容易になる。
【００２４】（７）請求項７の発明では、第１鳥瞰図画
像として、今回の結合合成鳥瞰図画像より前に作成した
結合合成鳥瞰図画像を用いる。これにより、モニタに
は、過去に撮影した画像の鳥瞰図画像（車両の移動に合
わせて移動させた画像）を逐次加えた連続した結合合成
鳥瞰図画像を変換した投影画像を表示することができ
る。
像として、今回の結合合成鳥瞰図画像より前に作成した
結合合成鳥瞰図画像を用いる。これにより、モニタに
は、過去に撮影した画像の鳥瞰図画像（車両の移動に合
わせて移動させた画像）を逐次加えた連続した結合合成
鳥瞰図画像を変換した投影画像を表示することができ
る。
【００２５】（８）請求項８の発明では、結合合成鳥瞰
図画像は、第２鳥瞰図画像を表示する表示領域以外に、
移動後の鳥瞰図画像を加入した画像である。本発明は、
結合合成鳥瞰図画像の形成方法を例示したものである。
これにより、車両の周囲の画像を連続して表示すること
ができる。
図画像は、第２鳥瞰図画像を表示する表示領域以外に、
移動後の鳥瞰図画像を加入した画像である。本発明は、
結合合成鳥瞰図画像の形成方法を例示したものである。
これにより、車両の周囲の画像を連続して表示すること
ができる。
【００２６】つまり、例えばカメラにより現在撮影され
ている画像は、第２鳥瞰図画像部分の投影画像としてモ
ニタに表示可能であるので、それ以前のモニタから消え
てしまう画像を第２鳥瞰図画像部分の表示領域以外に加
えることにより、カメラの視野から消えた過去の周囲の
状況をもモニタに表示することができる。
ている画像は、第２鳥瞰図画像部分の投影画像としてモ
ニタに表示可能であるので、それ以前のモニタから消え
てしまう画像を第２鳥瞰図画像部分の表示領域以外に加
えることにより、カメラの視野から消えた過去の周囲の
状況をもモニタに表示することができる。
【００２７】尚、結合合成鳥瞰図画像に用いる第２鳥瞰
図画像として、通常、最新の鳥瞰図画像が用いられる。 （９）請求項９の発明は、上述した車両周辺画像処理装
置による処理を実行させる手段を記憶している記録媒体
である。
図画像として、通常、最新の鳥瞰図画像が用いられる。 （９）請求項９の発明は、上述した車両周辺画像処理装
置による処理を実行させる手段を記憶している記録媒体
である。
【００２８】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。
【００２９】
【発明の実施の形態】以下に、本発明の車両周辺画像処
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例１）ここでは、各第１鳥瞰図画像を作成した後
に結合して結合鳥瞰図画像を作成する場合を例に挙げて
説明する。
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例１）ここでは、各第１鳥瞰図画像を作成した後
に結合して結合鳥瞰図画像を作成する場合を例に挙げて
説明する。
【００３０】ａ）本実施例の基本的なシステム構成を図
１及び図２を用いて説明する。図１に示す様に、本実施
例の車両周辺画像処理装置は、自動車の前部に配置され
た前カメラ（例えばＣＣＤカメラ）１と、自動車の後部
に配置された後カメラ（例えばＣＣＤカメラ）２と、ダ
ッシュボードに配置された車載モニタ（例えば液晶ディ
スプレイ）３と、車速を検出する車速センサ５と、ヨー
レイトを検出するヨーレイトセンサ７と、車両に周囲の
障害物を検出する超音波センサ（ソナー）８と、画像処
理を行う画像処理ユニット９とを備えている。
１及び図２を用いて説明する。図１に示す様に、本実施
例の車両周辺画像処理装置は、自動車の前部に配置され
た前カメラ（例えばＣＣＤカメラ）１と、自動車の後部
に配置された後カメラ（例えばＣＣＤカメラ）２と、ダ
ッシュボードに配置された車載モニタ（例えば液晶ディ
スプレイ）３と、車速を検出する車速センサ５と、ヨー
レイトを検出するヨーレイトセンサ７と、車両に周囲の
障害物を検出する超音波センサ（ソナー）８と、画像処
理を行う画像処理ユニット９とを備えている。
【００３１】前記画像処理ユニット９は、図２に示す様
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、前カメラ１で撮影した画像
データの座標変換（鳥瞰図変換）を行って鳥瞰図画像を
作成する第１鳥瞰図変換回路１１と、後カメラ２で撮影
した画像データの座標変換（鳥瞰図変換）を行って鳥瞰
図画像を作成する第２鳥瞰図変換回路１３と、第１鳥瞰
図変換回路１１にて作成された鳥瞰図画像の画像データ
を一時的に蓄える画像メモリＡと、第２鳥瞰図変換回路
１３にて作成された鳥瞰図画像の画像データを一時的に
蓄える画像メモリＢと、画像メモリＡ及び画像メモリＢ
の鳥瞰図画像を移動（例えば回転移動）して合成する等
の画像処理などの演算を行うＣＰＵ１５と、ＣＰＵ１５
にて処理した画像データを保存する画像メモリＣと、
（モニタ３に表示する）鳥瞰図画像の画像データを記憶
する画像メモリＤとを備えている。
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、前カメラ１で撮影した画像
データの座標変換（鳥瞰図変換）を行って鳥瞰図画像を
作成する第１鳥瞰図変換回路１１と、後カメラ２で撮影
した画像データの座標変換（鳥瞰図変換）を行って鳥瞰
図画像を作成する第２鳥瞰図変換回路１３と、第１鳥瞰
図変換回路１１にて作成された鳥瞰図画像の画像データ
を一時的に蓄える画像メモリＡと、第２鳥瞰図変換回路
１３にて作成された鳥瞰図画像の画像データを一時的に
蓄える画像メモリＢと、画像メモリＡ及び画像メモリＢ
の鳥瞰図画像を移動（例えば回転移動）して合成する等
の画像処理などの演算を行うＣＰＵ１５と、ＣＰＵ１５
にて処理した画像データを保存する画像メモリＣと、
（モニタ３に表示する）鳥瞰図画像の画像データを記憶
する画像メモリＤとを備えている。
【００３２】前記画像処理ユニット９には、車速信号を
入力する車速信号入力回路１７と、ヨーレイト信号を入
力するヨーレイト信号入力回路１９と、超音波センサ８
からの超音波信号を入力する超音波信号入力回路２１が
接続され、各信号はＣＰＵ１５に入力される。
入力する車速信号入力回路１７と、ヨーレイト信号を入
力するヨーレイト信号入力回路１９と、超音波センサ８
からの超音波信号を入力する超音波信号入力回路２１が
接続され、各信号はＣＰＵ１５に入力される。
【００３３】また、前記超音波センサ８は、図３に示す
様に、車両の周囲の障害物を検出できる様に、車両の左
右の側面及び後部に所定の間隔を保って配置されてい
る。従って、例えばセンサＡ〜Ｅの様に配置された各超
音波センサ８から超音波を発信し、その受信波を受信す
ることにより、各超音波センサ８の検出範囲内に障害物
があるか否かだけでなく、その障害物との距離や障害物
の大きさを検出することができる。
様に、車両の周囲の障害物を検出できる様に、車両の左
右の側面及び後部に所定の間隔を保って配置されてい
る。従って、例えばセンサＡ〜Ｅの様に配置された各超
音波センサ８から超音波を発信し、その受信波を受信す
ることにより、各超音波センサ８の検出範囲内に障害物
があるか否かだけでなく、その障害物との距離や障害物
の大きさを検出することができる。
【００３４】ここで、前記画像メモリＣに記憶する鳥瞰
図画像の画像データとは、後述する様に、前回（例えば
時刻Ｔに）前カメラ１及び後カメラ２にてそれぞれ撮影
された画像データに基づいて作成された各鳥瞰図画像
（第１鳥瞰図画像）を結合させ、その結合鳥瞰図画像を
移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに
（例えば時刻Ｔ＋１に）前カメラ１及び後カメラ２にて
撮影された画像データに基づいて作成された鳥瞰図画像
（第２鳥瞰図画像）とを合成した鳥瞰図画像（結合合成
鳥瞰図画像）の画像データである。
図画像の画像データとは、後述する様に、前回（例えば
時刻Ｔに）前カメラ１及び後カメラ２にてそれぞれ撮影
された画像データに基づいて作成された各鳥瞰図画像
（第１鳥瞰図画像）を結合させ、その結合鳥瞰図画像を
移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに
（例えば時刻Ｔ＋１に）前カメラ１及び後カメラ２にて
撮影された画像データに基づいて作成された鳥瞰図画像
（第２鳥瞰図画像）とを合成した鳥瞰図画像（結合合成
鳥瞰図画像）の画像データである。
【００３５】また、画像メモリＤに記憶する画像データ
とは、モニタ３に表示するために、画像メモリＣから転
送された結合合成鳥瞰図画像の画像データである。尚、
この画像メモリＤには、超音波センサ８によって検出さ
れた障害物を示す画像のデータも書き込まれている。
とは、モニタ３に表示するために、画像メモリＣから転
送された結合合成鳥瞰図画像の画像データである。尚、
この画像メモリＤには、超音波センサ８によって検出さ
れた障害物を示す画像のデータも書き込まれている。
【００３６】尚、画像処理ユニット９は、例えば後カメ
ラ２と一体の構造となっていてもよく、画像処理ユニッ
ト９内の各構成は、一部又は全体で一体化してＬＳＩで
構成してもよい。 ｂ）次に、本実施例における画像処理の手順等を、図４
〜図７に基づいて説明する。
ラ２と一体の構造となっていてもよく、画像処理ユニッ
ト９内の各構成は、一部又は全体で一体化してＬＳＩで
構成してもよい。 ｂ）次に、本実施例における画像処理の手順等を、図４
〜図７に基づいて説明する。
【００３７】ここでは、道路を走行中の車両を例に挙げ
る。 最初に、前カメラ１から入力された画像を、第１鳥瞰
図変換回路１１で上空から見た第１鳥瞰図画像に変換
し、画像メモリＡに保存する手順を説明する。まず、前
カメラ１から入力される原画像（入力画像）を、図４
（ａ）に示すが、この原画像は、車両のフロントガラス
の上部近傍に配置された前カメラ１により、車両の前方
を撮影した画像であるので、本来平行である車線を示す
白線が一点に集中するように表示されている。
る。 最初に、前カメラ１から入力された画像を、第１鳥瞰
図変換回路１１で上空から見た第１鳥瞰図画像に変換
し、画像メモリＡに保存する手順を説明する。まず、前
カメラ１から入力される原画像（入力画像）を、図４
（ａ）に示すが、この原画像は、車両のフロントガラス
の上部近傍に配置された前カメラ１により、車両の前方
を撮影した画像であるので、本来平行である車線を示す
白線が一点に集中するように表示されている。
【００３８】よって、後ににて詳述する様に、原画像
の画像データを座標変換して、図４（ｃ）に示す様な白
線が平行の鳥瞰図画像（第１鳥瞰図画像）を作成し、こ
の鳥瞰図画像の画像データを画像メモリＡに記憶する。
一方、後カメラ２から入力される原画像（入力画像）
を、図４（ｂ）に示すが、この原画像は、車両の後端に
配置された後カメラ１により、車両の後方を撮影した画
像であるので、前記と同様に、平行な白線が一点に集中
するように表示されている。
の画像データを座標変換して、図４（ｃ）に示す様な白
線が平行の鳥瞰図画像（第１鳥瞰図画像）を作成し、こ
の鳥瞰図画像の画像データを画像メモリＡに記憶する。
一方、後カメラ２から入力される原画像（入力画像）
を、図４（ｂ）に示すが、この原画像は、車両の後端に
配置された後カメラ１により、車両の後方を撮影した画
像であるので、前記と同様に、平行な白線が一点に集中
するように表示されている。
【００３９】よって、原画像の画像データを座標変換し
て、図４（ｄ）に示す様な白線が平行の鳥瞰図画像（第
１鳥瞰図画像）を作成し、この鳥瞰図画像の画像データ
を画像メモリＢに記憶する。 次に、前記前カメラ１で撮影された原画像を鳥瞰図画
像に変換する手順を説明する。尚、この手順は、以下に
説明する様に、従来技術（例えば特開平１０−２１１８
４９号公報）を利用できる。
て、図４（ｄ）に示す様な白線が平行の鳥瞰図画像（第
１鳥瞰図画像）を作成し、この鳥瞰図画像の画像データ
を画像メモリＢに記憶する。 次に、前記前カメラ１で撮影された原画像を鳥瞰図画
像に変換する手順を説明する。尚、この手順は、以下に
説明する様に、従来技術（例えば特開平１０−２１１８
４９号公報）を利用できる。
【００４０】ここでは、通常の透視変換の逆の処理を行
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図５に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図５に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。
【００４１】詳しくは、前カメラ１は、Ｚ軸上の点Ｒ
（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ
座標面）における画像をモニタしているとする。従っ
て、ここでは、下記式（１）に示す様にして、スクリー
ン平面Ｔ上の２次元座標（α、β）を、地上面上の座標
（鳥瞰図座標）に変換（逆の透視変換）できる。
（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ
座標面）における画像をモニタしているとする。従っ
て、ここでは、下記式（１）に示す様にして、スクリー
ン平面Ｔ上の２次元座標（α、β）を、地上面上の座標
（鳥瞰図座標）に変換（逆の透視変換）できる。
【００４２】
【数１】
【００４３】これにより、第１鳥瞰図画像が作成され
る。つまり、上記式（１）を用いることにより、投影画
像データを（鳥瞰図画像を示す）モニタ３の画面に対応
した画像データに変換して、例えば図４（ｃ）に示す様
に、モニタ表示することが可能である。
る。つまり、上記式（１）を用いることにより、投影画
像データを（鳥瞰図画像を示す）モニタ３の画面に対応
した画像データに変換して、例えば図４（ｃ）に示す様
に、モニタ表示することが可能である。
【００４４】尚、後カメラ２で撮影された原画像を鳥瞰
図画像に変換する手順は、カメラの取り付け位置に違い
による数値（例えば高さや見下ろし角）の違いだけであ
るので、その説明は省略する。 次に、前カメラ１及び後カメラ２による両第１鳥瞰図
画像を結合する手法について説明する。
図画像に変換する手順は、カメラの取り付け位置に違い
による数値（例えば高さや見下ろし角）の違いだけであ
るので、その説明は省略する。 次に、前カメラ１及び後カメラ２による両第１鳥瞰図
画像を結合する手法について説明する。
【００４５】前カメラ１による第１鳥瞰図画像（前第１
鳥瞰図画像）は車両の前方側を示し、後カメラ２による
第１鳥瞰図画像（後第１鳥瞰図画像）は車両の後方側を
示し、しかも、前カメラ１と後カメラ２の位置は固定で
あるので、前第１鳥瞰図画像と後第１鳥瞰図画像を、１
つの鳥瞰図画像として示すことが可能である。
鳥瞰図画像）は車両の前方側を示し、後カメラ２による
第１鳥瞰図画像（後第１鳥瞰図画像）は車両の後方側を
示し、しかも、前カメラ１と後カメラ２の位置は固定で
あるので、前第１鳥瞰図画像と後第１鳥瞰図画像を、１
つの鳥瞰図画像として示すことが可能である。
【００４６】従って、例えば図６（ａ）に示す様に、モ
ニタ画面上にて、前第１鳥瞰図画像を示すとともに、前
カメラ１と後カメラ２との距離に対応する分だけ間隔を
開けて、後第１鳥瞰図画像を示すように、ＣＰＵ１５で
は、画像メモリＡの前第１鳥瞰図画像の画像データと画
像メモリＢの後第１鳥瞰図画像の画像データを読み込
み、その前第１鳥瞰図画像の画像データと後第１鳥瞰図
画像の画像データを結合して結合鳥瞰図画像の画像デー
タを作成する。
ニタ画面上にて、前第１鳥瞰図画像を示すとともに、前
カメラ１と後カメラ２との距離に対応する分だけ間隔を
開けて、後第１鳥瞰図画像を示すように、ＣＰＵ１５で
は、画像メモリＡの前第１鳥瞰図画像の画像データと画
像メモリＢの後第１鳥瞰図画像の画像データを読み込
み、その前第１鳥瞰図画像の画像データと後第１鳥瞰図
画像の画像データを結合して結合鳥瞰図画像の画像デー
タを作成する。
【００４７】例えば前第１鳥瞰図画像及び後第１鳥瞰図
画像の画像データの座標軸の原点が、それぞれ前カメラ
１の位置及び後カメラ２の位置である場合には、例えば
後第１鳥瞰図画像の画像データの座標を、原点から車両
の後方側に、前カメラ１と後カメラ２の距離に対応する
分だけずらすようにし、その後、両第１鳥瞰図画像のデ
ータを重ね合わせることにより、両画像データを結合し
た結合鳥瞰図画像の画像データを得ることができる。
画像の画像データの座標軸の原点が、それぞれ前カメラ
１の位置及び後カメラ２の位置である場合には、例えば
後第１鳥瞰図画像の画像データの座標を、原点から車両
の後方側に、前カメラ１と後カメラ２の距離に対応する
分だけずらすようにし、その後、両第１鳥瞰図画像のデ
ータを重ね合わせることにより、両画像データを結合し
た結合鳥瞰図画像の画像データを得ることができる。
【００４８】そして、このようにして求めた結合鳥瞰図
画像の画像データを、一旦画像メモリＣに記憶する。 次に、車速信号とヨーレイト信号を用い、車両の動き
量（移動量）に応じて、前記画像メモリＣに記憶した結
合鳥瞰図画像を移動（例えば回転移動）させる手順を説
明する。
画像の画像データを、一旦画像メモリＣに記憶する。 次に、車速信号とヨーレイト信号を用い、車両の動き
量（移動量）に応じて、前記画像メモリＣに記憶した結
合鳥瞰図画像を移動（例えば回転移動）させる手順を説
明する。
【００４９】ここでは、図７に時刻Ｔの車両位置を示す
が、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻
Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中
心における回転角度θＣ）とする。 ・まず、カメラ１のサンプリング時間が１００[ｍｓ]の
場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用い
て、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算
出できる。 Ｌ[ｍ]＝Ｓ[ｋｍ／ｈ]×１０００[ｍ／ｋｍ]÷３６００[Ｓ／ｈ] ×１００[ｍｓ]÷１０００[ｍｓ／ｓ] ・・・（２） また、図７に示す図形の関係があるので、ヨーレイト信
号から得られるヨーレイトθ０[度／ｓ]を用いて、下記
式（３）から、車両が動いた角度θ１を算出できる。 θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３） 更に、ここでは、車両の回転中心は後輪車軸の延長線上
にあるとしているので、その回転中心は、カメラ位置を
原点として算出し、車両の進行方向をＹ、これに垂直な
方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、
下記式（４）から算出できる。 ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１） ・・・（４） 一方、Ｙ方向の中心位置は、後輪車軸上であるので、カ
メラと後輪車軸までの距離はＹＣ[ｃｍ]である。
が、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻
Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中
心における回転角度θＣ）とする。 ・まず、カメラ１のサンプリング時間が１００[ｍｓ]の
場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用い
て、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算
出できる。 Ｌ[ｍ]＝Ｓ[ｋｍ／ｈ]×１０００[ｍ／ｋｍ]÷３６００[Ｓ／ｈ] ×１００[ｍｓ]÷１０００[ｍｓ／ｓ] ・・・（２） また、図７に示す図形の関係があるので、ヨーレイト信
号から得られるヨーレイトθ０[度／ｓ]を用いて、下記
式（３）から、車両が動いた角度θ１を算出できる。 θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３） 更に、ここでは、車両の回転中心は後輪車軸の延長線上
にあるとしているので、その回転中心は、カメラ位置を
原点として算出し、車両の進行方向をＹ、これに垂直な
方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、
下記式（４）から算出できる。 ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１） ・・・（４） 一方、Ｙ方向の中心位置は、後輪車軸上であるので、カ
メラと後輪車軸までの距離はＹＣ[ｃｍ]である。
【００５０】また、回転中心における回転角度θＣは、
図６に示す図形の関係から、車両が動いた角度θ１に一
致する。 ・次に、上述した様にして求めた回転中心位置（ＸＣ、
ＹＣ）、回転角度θＣを用いて、下記の様にして、結合
鳥瞰図画像を移動する。
図６に示す図形の関係から、車両が動いた角度θ１に一
致する。 ・次に、上述した様にして求めた回転中心位置（ＸＣ、
ＹＣ）、回転角度θＣを用いて、下記の様にして、結合
鳥瞰図画像を移動する。
【００５１】画像メモリＣに記憶された結合鳥瞰図画像
の画像データを、ＣＰＵ１５の内部メモリに転送し、前
記回転中心位置（ＸＣ、ＹＣ）及び回転角度θＣを用い
て、結合鳥瞰図画像を回転移動する。この回転移動を行
うための変換式を、下記式（５）に示すが、この変換式
を用いたＣＰＵ１５の内部処理により、回転角度θにて
移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動
前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、Ｙ
Ａ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存
する。 ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５） ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ 但し、（ＸＡ、ＹＢ）：移動前の座標 （ＸＢ、ＹＢ）：移動後の座標 θ ：回転角度 ・そして、全ての座標についてこれらの演算を行うこと
により、画像メモリＣに記憶された結合鳥瞰図画像（時
刻Ｔにおける結合鳥瞰図画像）から、移動後の鳥瞰図画
像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
の画像データを、ＣＰＵ１５の内部メモリに転送し、前
記回転中心位置（ＸＣ、ＹＣ）及び回転角度θＣを用い
て、結合鳥瞰図画像を回転移動する。この回転移動を行
うための変換式を、下記式（５）に示すが、この変換式
を用いたＣＰＵ１５の内部処理により、回転角度θにて
移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動
前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、Ｙ
Ａ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存
する。 ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５） ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ 但し、（ＸＡ、ＹＢ）：移動前の座標 （ＸＢ、ＹＢ）：移動後の座標 θ ：回転角度 ・そして、全ての座標についてこれらの演算を行うこと
により、画像メモリＣに記憶された結合鳥瞰図画像（時
刻Ｔにおける結合鳥瞰図画像）から、移動後の鳥瞰図画
像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００５２】それとともに、新たに前カメラ１及び後カ
メラ２により撮影した画像に基づいて作成した鳥瞰図画
像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における各第
２鳥瞰図画像）を、新たに画像メモリＡ及び画像メモリ
ＢよりＣＰＵ１５に転送する。
メラ２により撮影した画像に基づいて作成した鳥瞰図画
像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における各第
２鳥瞰図画像）を、新たに画像メモリＡ及び画像メモリ
ＢよりＣＰＵ１５に転送する。
【００５３】よって、ＣＰＵ１５では、各第２鳥瞰図画
像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画
像との画像のずれが生じない位置）に書き込み、それに
よって、移動後鳥瞰図画像と各第２鳥瞰図画像とを合成
した結合合成鳥瞰図画像の画像データを作成する。
像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画
像との画像のずれが生じない位置）に書き込み、それに
よって、移動後鳥瞰図画像と各第２鳥瞰図画像とを合成
した結合合成鳥瞰図画像の画像データを作成する。
【００５４】そして、この結合合成鳥瞰図画像を、画像
メモリＣ及び画像メモリＤに記憶する。 次に、超音波センサ８によって検出した障害物を示す
画像の処理について説明する。
メモリＣ及び画像メモリＤに記憶する。 次に、超音波センサ８によって検出した障害物を示す
画像の処理について説明する。
【００５５】上述した画像処理とは別に、各超音波セン
サ８から超音波を発信し、その反射波を受信することに
よって、車両の周囲の障害物を検出する。そして、障害
物が検出された場合には、障害物を検出した位置のデー
タ、即ち障害物が車両に対してどの位置（障害物を検出
した当該超音波センサ８の発信方向）にて、どれほど離
れているかを示す位置のデータや、障害物の大きさのデ
ータを求める。
サ８から超音波を発信し、その反射波を受信することに
よって、車両の周囲の障害物を検出する。そして、障害
物が検出された場合には、障害物を検出した位置のデー
タ、即ち障害物が車両に対してどの位置（障害物を検出
した当該超音波センサ８の発信方向）にて、どれほど離
れているかを示す位置のデータや、障害物の大きさのデ
ータを求める。
【００５６】次に、前記合成鳥瞰図画像に対して、前記
位置等のデータに基づいて、障害物がどの位置にあるか
を求め、その求めた位置に障害物であることを示す画像
（障害物画像）を書き込む処理を行う。例えば超音波セ
ンサ８により、障害物との距離や大きさが分かった場合
には、その障害物の情報に基づいて、障害物に大きさに
比例した赤色等のシンボルを（結合合成鳥瞰図画像に対
して）障害物がある位置に書き込む。
位置等のデータに基づいて、障害物がどの位置にあるか
を求め、その求めた位置に障害物であることを示す画像
（障害物画像）を書き込む処理を行う。例えば超音波セ
ンサ８により、障害物との距離や大きさが分かった場合
には、その障害物の情報に基づいて、障害物に大きさに
比例した赤色等のシンボルを（結合合成鳥瞰図画像に対
して）障害物がある位置に書き込む。
【００５７】そして、この障害物画像を書き込んだ結合
合成鳥瞰図画像を、画像メモリＤに上書きして記憶し、
この画像メモリＤに記憶した結合合成鳥瞰図画像を、モ
ニタ３に表示する。尚、結合合成鳥瞰図画像を作成する
際には、自車両の位置や前カメラ１及び後カメラ２の視
野角の画像なども加入して画像メモリＤに記憶し、その
結合合成鳥瞰図画像をモニタ３の画面に表示してもよい
が、自車両の位置や前カメラ１及び後カメラ２の視野角
の画像などは画像メモリＤに記憶せずに、モニタ３に画
像メモリＤに記憶した結合合成鳥瞰図画像を描画する際
に、自車両の位置や前カメラ１及び後カメラ２の視野角
の画像など加えて描画してもよい。
合成鳥瞰図画像を、画像メモリＤに上書きして記憶し、
この画像メモリＤに記憶した結合合成鳥瞰図画像を、モ
ニタ３に表示する。尚、結合合成鳥瞰図画像を作成する
際には、自車両の位置や前カメラ１及び後カメラ２の視
野角の画像なども加入して画像メモリＤに記憶し、その
結合合成鳥瞰図画像をモニタ３の画面に表示してもよい
が、自車両の位置や前カメラ１及び後カメラ２の視野角
の画像などは画像メモリＤに記憶せずに、モニタ３に画
像メモリＤに記憶した結合合成鳥瞰図画像を描画する際
に、自車両の位置や前カメラ１及び後カメラ２の視野角
の画像など加えて描画してもよい。
【００５８】ｃ）次に、前記画像処理ユニット９等にて
行われる処理を、図８のフローチャートに基づいて説明
する。尚、本処理は、（ＡＴ車の）シフト位置がＤレン
ジ又はバックである場合に開始される。
行われる処理を、図８のフローチャートに基づいて説明
する。尚、本処理は、（ＡＴ車の）シフト位置がＤレン
ジ又はバックである場合に開始される。
【００５９】図８に示す様に、ステップ１１０では、前
カメラ１及び後カメラ２で撮影した画像の座標変換（前
記鳥瞰図変換）を行って、各第１鳥瞰図画像を作成す
る。続くステップ１２０では、前記各第１鳥瞰図画像を
それぞれ画像メモリＡ及び画像メモリＢに記憶する。
カメラ１及び後カメラ２で撮影した画像の座標変換（前
記鳥瞰図変換）を行って、各第１鳥瞰図画像を作成す
る。続くステップ１２０では、前記各第１鳥瞰図画像を
それぞれ画像メモリＡ及び画像メモリＢに記憶する。
【００６０】続くステップ１３０では、画像メモリＡ及
び画像メモリＢに記憶されている各第１鳥瞰図画像を読
み出し、その各第１鳥瞰図画像を結合して結合鳥瞰図画
像を作成して、画像メモリＣに記憶する。この結合鳥瞰
図画像をモニタ３に表示すると前記図６のような画像と
なる。
び画像メモリＢに記憶されている各第１鳥瞰図画像を読
み出し、その各第１鳥瞰図画像を結合して結合鳥瞰図画
像を作成して、画像メモリＣに記憶する。この結合鳥瞰
図画像をモニタ３に表示すると前記図６のような画像と
なる。
【００６１】続くステップ１４０では、車速信号及びヨ
ーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣ
で示される車両の動き量（移動量）を求める。続くステ
ップ１５０では、車両の移動量に基づいて、前記画像メ
モリＣに記憶されている結合鳥瞰図画像（時刻Ｔの結合
鳥瞰図画像）を移動させて、移動後鳥瞰図画像（時刻Ｔ
の移動後鳥瞰図画像）を求める。
ーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣ
で示される車両の動き量（移動量）を求める。続くステ
ップ１５０では、車両の移動量に基づいて、前記画像メ
モリＣに記憶されている結合鳥瞰図画像（時刻Ｔの結合
鳥瞰図画像）を移動させて、移動後鳥瞰図画像（時刻Ｔ
の移動後鳥瞰図画像）を求める。
【００６２】続くステップ１６０では、新たに撮影され
て画像メモリＡ及び画像メモリＢに記憶された（時刻Ｔ
＋１における）第２鳥瞰図画像を、画像メモリＡ及び画
像メモリＢからそれぞれ読み込む。続くステップ１７０
では、移動後鳥瞰図画像と各第２鳥瞰図画像とを合成し
て結合合成鳥瞰図画像を作成する。
て画像メモリＡ及び画像メモリＢに記憶された（時刻Ｔ
＋１における）第２鳥瞰図画像を、画像メモリＡ及び画
像メモリＢからそれぞれ読み込む。続くステップ１７０
では、移動後鳥瞰図画像と各第２鳥瞰図画像とを合成し
て結合合成鳥瞰図画像を作成する。
【００６３】具体的には、図９（ａ）に示す様に、新た
な（第２鳥瞰図画像に対応する）カメラ視野の外に、今
回の車両の移動によりカメラ視野外となった部分（同図
の１００ｍｓの移動量に対応するＶ字形の帯状部分）、
即ち、結合鳥瞰図画像を車両の移動量に対応して移動さ
せて形成した移動後鳥瞰図画像の一部（詳しくは第２鳥
瞰図画像と重なる部分は除いたもの）を書き込むように
して、結合合成鳥瞰図画像を作成する。
な（第２鳥瞰図画像に対応する）カメラ視野の外に、今
回の車両の移動によりカメラ視野外となった部分（同図
の１００ｍｓの移動量に対応するＶ字形の帯状部分）、
即ち、結合鳥瞰図画像を車両の移動量に対応して移動さ
せて形成した移動後鳥瞰図画像の一部（詳しくは第２鳥
瞰図画像と重なる部分は除いたもの）を書き込むように
して、結合合成鳥瞰図画像を作成する。
【００６４】続くステップ１８０では、超音波センサ８
からの信号に基づいて、障害物の位置及び障害物の大き
さを求める。続くステップ１９０では、検出した障害物
の情報に基づいて、障害物を示す画像（例えば図９
（ｂ）に示す破線状の記号）を、結合合成鳥瞰図画像に
対して障害物が存在する位置に書き込む。これによっ
て、障害物画像が書き込まれた結合合成鳥瞰図画像が作
成される。
からの信号に基づいて、障害物の位置及び障害物の大き
さを求める。続くステップ１９０では、検出した障害物
の情報に基づいて、障害物を示す画像（例えば図９
（ｂ）に示す破線状の記号）を、結合合成鳥瞰図画像に
対して障害物が存在する位置に書き込む。これによっ
て、障害物画像が書き込まれた結合合成鳥瞰図画像が作
成される。
【００６５】続くステップ２００では、結合合成鳥瞰図
画像を、画像メモリＤに記憶する。続くステップ２１０
では、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＤに記憶した結合合成鳥瞰図画像をモニ
タ３に表示し、一旦本処理を終了する。
画像を、画像メモリＤに記憶する。続くステップ２１０
では、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＤに記憶した結合合成鳥瞰図画像をモニ
タ３に表示し、一旦本処理を終了する。
【００６６】以後同様な処理を、新たに前カメラ１及び
後カメラ２で撮影された画像が取り込まれる毎に実施す
る。つまり、次回には、結合合成鳥瞰図画像を車両の移
動に応じて移動させて移動後鳥瞰図画像を作成し、その
移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成し
て、障害物がある場合には障害物画像を加えてモニタ３
に表示する画像を作成し、以後同様な処理を繰り返して
ゆく。
後カメラ２で撮影された画像が取り込まれる毎に実施す
る。つまり、次回には、結合合成鳥瞰図画像を車両の移
動に応じて移動させて移動後鳥瞰図画像を作成し、その
移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成し
て、障害物がある場合には障害物画像を加えてモニタ３
に表示する画像を作成し、以後同様な処理を繰り返して
ゆく。
【００６７】ｄ）この様に、本実施例では、前カメラ１
及び後カメラ２で撮影した各画像を第１鳥瞰図画像に変
換し、この各第１鳥瞰図画像を前カメラ１と後カメラ２
の間隔を考慮して結合させて結合鳥瞰図画像を作成して
いる。そして、その結合鳥瞰図画像を移動させて移動後
鳥瞰図画像を作成し、移動後鳥瞰図画像と新たに読み込
んだ第２鳥瞰図画像とを合成して結合合成鳥瞰図画像を
作成し、その結合合成鳥瞰図画像に、（超音波センサ８
からの信号によって求めた）障害物画像を加えるととも
に、自車両及び視野角の画像を加えて、モニタ５の画面
に表示している。
及び後カメラ２で撮影した各画像を第１鳥瞰図画像に変
換し、この各第１鳥瞰図画像を前カメラ１と後カメラ２
の間隔を考慮して結合させて結合鳥瞰図画像を作成して
いる。そして、その結合鳥瞰図画像を移動させて移動後
鳥瞰図画像を作成し、移動後鳥瞰図画像と新たに読み込
んだ第２鳥瞰図画像とを合成して結合合成鳥瞰図画像を
作成し、その結合合成鳥瞰図画像に、（超音波センサ８
からの信号によって求めた）障害物画像を加えるととも
に、自車両及び視野角の画像を加えて、モニタ５の画面
に表示している。
【００６８】つまり、本実施例では、車両が移動する際
にカメラ視野から外れた車両の前後の領域を推定し合成
することによって、通常はカメラ視野外となる表示でき
ない部分も含めて表示することができるので、車両の周
囲の状況を明瞭に把握できる。
にカメラ視野から外れた車両の前後の領域を推定し合成
することによって、通常はカメラ視野外となる表示でき
ない部分も含めて表示することができるので、車両の周
囲の状況を明瞭に把握できる。
【００６９】また、一つのモニタ画面上にて、車両の前
後の画像を同時に表示するので、その点からも、一層車
両の周囲の状況を明瞭に把握することができる。更に、
本実施例では、前カメラ１及び後カメラ２の視野外に障
害物が存在する場合（又は進入した場合）でも、障害物
の位置をモニタ３に表示できるので、リアルタイムで車
両の周囲を監視でき、安全性が向上するという利点があ
る。 （実施例２）次に、実施例２について説明するが、前記
実施例１と同様な箇所の説明は省略する。
後の画像を同時に表示するので、その点からも、一層車
両の周囲の状況を明瞭に把握することができる。更に、
本実施例では、前カメラ１及び後カメラ２の視野外に障
害物が存在する場合（又は進入した場合）でも、障害物
の位置をモニタ３に表示できるので、リアルタイムで車
両の周囲を監視でき、安全性が向上するという利点があ
る。 （実施例２）次に、実施例２について説明するが、前記
実施例１と同様な箇所の説明は省略する。
【００７０】本実施例では、各第１鳥瞰図画像を作成し
た後に各移動後鳥瞰図画像を作成し、その後結合移動後
鳥瞰図画像を作成する場合を説明する。本実施例では、
図１０のフローチャートに示す様に、ステップ３１０で
は、前カメラ１及び後カメラ２で撮影した画像の座標変
換を行って、各第１鳥瞰図画像を作成する。
た後に各移動後鳥瞰図画像を作成し、その後結合移動後
鳥瞰図画像を作成する場合を説明する。本実施例では、
図１０のフローチャートに示す様に、ステップ３１０で
は、前カメラ１及び後カメラ２で撮影した画像の座標変
換を行って、各第１鳥瞰図画像を作成する。
【００７１】続くステップ３２０では、前記各第１鳥瞰
図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶
する。続くステップ３３０では、車速信号及びヨーレイ
ト信号に基づいて、移動距離Ｌ及び回転角度θＣで示さ
れる車両の動き量（移動量）を求める。
図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶
する。続くステップ３３０では、車速信号及びヨーレイ
ト信号に基づいて、移動距離Ｌ及び回転角度θＣで示さ
れる車両の動き量（移動量）を求める。
【００７２】続くステップ３４０では、車両の移動量に
基づいて、前記各第１鳥瞰図画像を移動させて、各移動
後鳥瞰図画像を求める。続くステップ３５０では、前記
各移動後鳥瞰図画像を結合させて、結合移動後鳥瞰図画
像を求める。
基づいて、前記各第１鳥瞰図画像を移動させて、各移動
後鳥瞰図画像を求める。続くステップ３５０では、前記
各移動後鳥瞰図画像を結合させて、結合移動後鳥瞰図画
像を求める。
【００７３】続くステップ３６０では、新たに撮影され
て画像メモリＡ及び画像メモリＢに記憶された第２鳥瞰
図画像を、画像メモリＡ及び画像メモリＢからそれぞれ
読み込む。続くステップ３７０では、結合移動後鳥瞰図
画像と各第２鳥瞰図画像とを合成して結合合成鳥瞰図画
像を作成する。
て画像メモリＡ及び画像メモリＢに記憶された第２鳥瞰
図画像を、画像メモリＡ及び画像メモリＢからそれぞれ
読み込む。続くステップ３７０では、結合移動後鳥瞰図
画像と各第２鳥瞰図画像とを合成して結合合成鳥瞰図画
像を作成する。
【００７４】続くステップ３８０では、超音波センサ８
からの信号に基づいて、障害物の位置及び障害物の大き
さを求める。続くステップ３９０では、検出した障害物
の情報に基づいて、障害物を示す画像を、結合合成鳥瞰
図画像に対して障害物が存在する位置に書き込む。
からの信号に基づいて、障害物の位置及び障害物の大き
さを求める。続くステップ３９０では、検出した障害物
の情報に基づいて、障害物を示す画像を、結合合成鳥瞰
図画像に対して障害物が存在する位置に書き込む。
【００７５】続くステップ４００では、結合合成鳥瞰図
画像を、画像メモリＤに記憶する。続くステップ４１０
では、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＤに記憶した結合合成鳥瞰図画像をモニ
タ３に表示し、一旦本処理を終了する。
画像を、画像メモリＤに記憶する。続くステップ４１０
では、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＤに記憶した結合合成鳥瞰図画像をモニ
タ３に表示し、一旦本処理を終了する。
【００７６】以後同様な処理を、新たに前カメラ１及び
後カメラ２で撮影された画像が取り込まれる毎に実施す
る。本実施例では、前記実施例１とは画像を結合するタ
イミングが異なるが、前記実施例１とほぼ同様な効果を
奏する。 （実施例３）次に、実施例３について説明するが、前記
実施例１と同様な箇所の説明は省略する。
後カメラ２で撮影された画像が取り込まれる毎に実施す
る。本実施例では、前記実施例１とは画像を結合するタ
イミングが異なるが、前記実施例１とほぼ同様な効果を
奏する。 （実施例３）次に、実施例３について説明するが、前記
実施例１と同様な箇所の説明は省略する。
【００７７】本実施例では、各第１鳥瞰図画像を作成し
た後に各移動後鳥瞰図画像を作成し、その後各移動後鳥
瞰図画像から合成鳥瞰図画像を作成し、その後結合合成
鳥瞰図画像を作成する場合を説明する。本実施例では、
図１１のフローチャートに示す様に、ステップ５１０で
は、前カメラ１及び後カメラ２で撮影した画像の座標変
換を行って、各第１鳥瞰図画像を作成する。
た後に各移動後鳥瞰図画像を作成し、その後各移動後鳥
瞰図画像から合成鳥瞰図画像を作成し、その後結合合成
鳥瞰図画像を作成する場合を説明する。本実施例では、
図１１のフローチャートに示す様に、ステップ５１０で
は、前カメラ１及び後カメラ２で撮影した画像の座標変
換を行って、各第１鳥瞰図画像を作成する。
【００７８】続くステップ５２０では、前記各第１鳥瞰
図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶
する。続くステップ５３０では、車速信号及びヨーレイ
ト信号に基づいて、移動距離Ｌ及び回転角度θＣで示さ
れる車両の動き量（移動量）を求める。
図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶
する。続くステップ５３０では、車速信号及びヨーレイ
ト信号に基づいて、移動距離Ｌ及び回転角度θＣで示さ
れる車両の動き量（移動量）を求める。
【００７９】続くステップ５４０では、車両の移動量に
基づいて、前記各第１鳥瞰図画像を移動させて、各移動
後鳥瞰図画像を求める。続くステップ５５０では、新た
に撮影されて画像メモリＡ及び画像メモリＢに記憶され
た第２鳥瞰図画像を、画像メモリＡ及び画像メモリＢか
らそれぞれ読み込む。
基づいて、前記各第１鳥瞰図画像を移動させて、各移動
後鳥瞰図画像を求める。続くステップ５５０では、新た
に撮影されて画像メモリＡ及び画像メモリＢに記憶され
た第２鳥瞰図画像を、画像メモリＡ及び画像メモリＢか
らそれぞれ読み込む。
【００８０】続くステップ５６０では、各移動後鳥瞰図
画像と各第２鳥瞰図画像とを合成して各合成鳥瞰図画像
を作成する。続くステップ５７０では、前記各合成鳥瞰
図画像を結合させて、結合合成鳥瞰図画像を求める。
画像と各第２鳥瞰図画像とを合成して各合成鳥瞰図画像
を作成する。続くステップ５７０では、前記各合成鳥瞰
図画像を結合させて、結合合成鳥瞰図画像を求める。
【００８１】続くステップ５８０では、超音波センサ８
からの信号に基づいて、障害物の位置及び障害物の大き
さを求める。続くステップ５９０では、検出した障害物
の情報に基づいて、障害物を示す画像を、結合合成鳥瞰
図画像に対して障害物が存在する位置に書き込む。
からの信号に基づいて、障害物の位置及び障害物の大き
さを求める。続くステップ５９０では、検出した障害物
の情報に基づいて、障害物を示す画像を、結合合成鳥瞰
図画像に対して障害物が存在する位置に書き込む。
【００８２】続くステップ６００では、結合合成鳥瞰図
画像を、画像メモリＤに記憶する。続くステップ６１０
では、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＤに記憶した結合合成鳥瞰図画像をモニ
タ３に表示し、一旦本処理を終了する。
画像を、画像メモリＤに記憶する。続くステップ６１０
では、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＤに記憶した結合合成鳥瞰図画像をモニ
タ３に表示し、一旦本処理を終了する。
【００８３】以後同様な処理を、新たに前カメラ１及び
後カメラ２で撮影された画像が取り込まれる毎に実施す
る。本実施例では、前記実施例１とは画像を結合するタ
イミングが異なるが、前記実施例１とほぼ同様な効果を
奏する。
後カメラ２で撮影された画像が取り込まれる毎に実施す
る。本実施例では、前記実施例１とは画像を結合するタ
イミングが異なるが、前記実施例１とほぼ同様な効果を
奏する。
【００８４】尚、本発明は前記実施例になんら限定され
るものではなく、本発明を逸脱しない範囲において種々
の態様で実施しうることはいうまでもない。 （１）例えば、前記実施例では、車両周辺画像処理装置
について述べたが、この装置による処理を実行させる手
段を記憶している記録媒体も、本発明の範囲である。こ
の記録媒体としては、マイクロコンピュータとして構成
される電子制御装置、マイクロチップ、フロッピィディ
スク、ハードディスク、光ディスク等の各種の記録媒体
が挙げられる。
るものではなく、本発明を逸脱しない範囲において種々
の態様で実施しうることはいうまでもない。 （１）例えば、前記実施例では、車両周辺画像処理装置
について述べたが、この装置による処理を実行させる手
段を記憶している記録媒体も、本発明の範囲である。こ
の記録媒体としては、マイクロコンピュータとして構成
される電子制御装置、マイクロチップ、フロッピィディ
スク、ハードディスク、光ディスク等の各種の記録媒体
が挙げられる。
【００８５】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。 （２）また、前記実施例では、車両の移動状態を車速セ
ンサやヨーレートセンサを用いて検出し、その情報に基
づいて移動後鳥瞰図画像を作成する様にしたが、例えば
カメラで撮影した画像（鳥瞰図画像）の動きベクトルを
求め、この動きベクトルから車両の移動状態を推定し
て、移動後鳥瞰図画像を求めてもよい。
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。 （２）また、前記実施例では、車両の移動状態を車速セ
ンサやヨーレートセンサを用いて検出し、その情報に基
づいて移動後鳥瞰図画像を作成する様にしたが、例えば
カメラで撮影した画像（鳥瞰図画像）の動きベクトルを
求め、この動きベクトルから車両の移動状態を推定し
て、移動後鳥瞰図画像を求めてもよい。
【００８６】例えばいわゆる画像のマッチングの処理に
より、第１鳥瞰図画像とそれより後の第２鳥瞰図画像と
の移動状態を検出し、その画像の移動状態から車両の移
動状態を求めるようにしてもよい。
より、第１鳥瞰図画像とそれより後の第２鳥瞰図画像と
の移動状態を検出し、その画像の移動状態から車両の移
動状態を求めるようにしてもよい。
【図１】 実施例１の車両周辺画像処理装置の主要構成
を示す説明図である。
を示す説明図である。
【図２】 実施例１の車両周辺画像処理装置の電気的構
成を示す説明図である。
成を示す説明図である。
【図３】 実施例１の超音波センサの検出範囲を示す説
明図である。
明図である。
【図４】 実施例１の車両周辺画像処理装置により用い
られる画像を示し、（ａ）は前カメラにより撮影された
画像の説明図、（ｂ）は後カメラにより撮影された画像
の説明図、（ｃ）は前カメラによる鳥瞰図画像の説明
図、（ｄ）は後カメラによる鳥瞰図画像の説明図であ
る。
られる画像を示し、（ａ）は前カメラにより撮影された
画像の説明図、（ｂ）は後カメラにより撮影された画像
の説明図、（ｃ）は前カメラによる鳥瞰図画像の説明
図、（ｄ）は後カメラによる鳥瞰図画像の説明図であ
る。
【図５】 実施例１の車両周辺画像処理装置による座標
変換の際の位置関係を示す説明図である。
変換の際の位置関係を示す説明図である。
【図６】 実施例１の車両周辺画像処理装置による結合
鳥瞰図画像を示す説明図である。
鳥瞰図画像を示す説明図である。
【図７】 実施例１の車両周辺画像処理装置による車両
の移動量を求めるための手法を示す説明図である。
の移動量を求めるための手法を示す説明図である。
【図８】 実施例１の車両周辺画像処理装置の処理を示
すフローチャートである。
すフローチャートである。
【図９】 実施例１の車両周辺画像処理装置のよる画像
作成の手順を示す説明図である。
作成の手順を示す説明図である。
【図１０】 実施例２の車両周辺画像処理装置の処理を
示すフローチャートである。
示すフローチャートである。
【図１１】 実施例３の車両周辺画像処理装置の処理を
示すフローチャートである。
示すフローチャートである。
１…前カメラ
２…後カメラ
３…車載モニタ（モニタ）
５…車速センサ
７…ヨーレイトセンサ
８…超音波センサ
９…画像処理ユニット
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ａ
3/00 １００ 3/00 １００
(72)発明者 柳川 博彦
愛知県刈谷市昭和町１丁目１番地 株式会
社デンソー内
(72)発明者 竹市 真和
愛知県刈谷市昭和町１丁目１番地 株式会
社デンソー内
Ｆターム(参考） 5B057 AA16 BA02 CA12 CA16 CB12
CB16 CC01 CD20 CE08
5C054 AA01 FD01 FE13 FE19 GB14
GB15 HA30
Claims (9)
- 【請求項１】 車両周辺の画像を撮影する撮影手段と、
画像を表示する表示手段とを備えた車両に対して、前記
撮影手段により撮影された画像を処理して前記表示手段
に表示する車両周辺画像処理装置において、 前記車両に、撮影方向が異なる前記撮影手段を複数配置
するとともに、 前記各撮影手段により撮影された各画像に基づいてそれ
ぞれ作成された各第１鳥瞰図画像を記憶する鳥瞰図画像
記憶手段と、 前記各第１鳥瞰図画像を、前記各撮影手段の位置関係に
基づいて結合して結合鳥瞰図画像を作成する結合鳥瞰図
画像作成手段と、 前記結合鳥瞰図画像を、前記車両の移動状態に応じて移
動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画
像作成手段と、 前記各第１鳥瞰図画像より後に撮影されて作成された各
第２鳥瞰図画像と、前記移動後鳥瞰図画像とを合成し
て、結合合成鳥瞰図画像を作成する結合合成鳥瞰図画像
作成手段と、 を備え、 前記結合合成鳥瞰図画像を前記表示手段に表示すること
を特徴とする車両周辺画像処理装置。 - 【請求項２】 車両周辺の画像を撮影する撮影手段と、
画像を表示する表示手段とを備えた車両に対して、前記
撮影手段により撮影された画像を処理して前記表示手段
に表示する車両周辺画像処理装置において、 前記車両に、撮影方向が異なる前記撮影手段を複数配置
するとともに、 前記各撮影手段により撮影された各画像に基づいてそれ
ぞれ作成された各第１鳥瞰図画像を記憶する鳥瞰図画像
記憶手段と、 前記各第１鳥瞰図画像を、前記車両の移動状態に応じて
それぞれ移動させて、各移動後鳥瞰図画像を作成する移
動後鳥瞰図画像作成手段と、 前記各移動後鳥瞰図画像を、前記各撮影手段の位置関係
に基づいて結合して結合移動後鳥瞰図画像を作成する結
合移動後鳥瞰図画像作成手段と、 前記各第１鳥瞰図画像より後に撮影されて作成された各
第２鳥瞰図画像と、前記結合移動後鳥瞰図画像とを合成
して、結合合成鳥瞰図画像を作成する結合合成鳥瞰図画
像作成手段と、 を備え、 前記結合合成鳥瞰図画像を前記表示手段に表示すること
を特徴とする車両周辺画像処理装置。 - 【請求項３】 車両周辺の画像を撮影する撮影手段と、
画像を表示する表示手段とを備えた車両に対して、前記
撮影手段により撮影された画像を処理して前記表示手段
に表示する車両周辺画像処理装置において、 前記車両に、撮影方向が異なる前記撮影手段を複数配置
するとともに、 前記各撮影手段により撮影された各画像に基づいてそれ
ぞれ作成された各第１鳥瞰図画像を記憶する鳥瞰図画像
記憶手段と、 前記各第１鳥瞰図画像を、前記車両の移動状態に応じて
それぞれ移動させて、各移動後鳥瞰図画像を作成する移
動後鳥瞰図画像作成手段と、 前記各第１鳥瞰図画像より後に撮影されて作成された各
第２鳥瞰図画像と、前記各移動後鳥瞰図画像とを合成し
て、各合成鳥瞰図画像を作成する合成鳥瞰図画像作成手
段と、 前記各合成鳥瞰図画像を、前記各撮影手段の位置関係に
基づいて結合して結合合成鳥瞰図画像を作成する結合合
成鳥瞰図画像作成手段と、 を備え、 前記結合合成鳥瞰図画像を前記表示手段に表示すること
を特徴とする車両周辺画像処理装置。 - 【請求項４】 前記複数の撮影手段の撮影方向は、前記
車両の前方と後方であることを特徴とする前記請求項１
〜３のいずれかに記載の車両周辺画像処理装置。 - 【請求項５】 前記表示手段に結合合成鳥瞰図画像を表
示する場合には、自車両を示す画像を加えて表示するこ
とを特徴とする前記請求項１〜４のいずれかに記載の車
両周辺画像処理装置。 - 【請求項６】 前記車両の周囲の障害物を、障害物検知
センサにより検知した場合には、当該検知した障害物の
位置を前記表示手段に表示することを特徴とする前記請
求項１〜５のいずれかに記載の車両周辺画像処理装置。 - 【請求項７】 前記第１鳥瞰図画像として、今回の結合
合成鳥瞰図画像より前に作成した結合合成鳥瞰図画像を
用いることを特徴とする前記請求項１〜６のいずれかに
記載の車両周辺画像処理装置。 - 【請求項８】 前記結合合成鳥瞰図画像は、前記第２鳥
瞰図画像を表示する表示領域以外に、前記移動後の鳥瞰
図画像を加入した画像であることを特徴とする前記請求
項１〜７のいずれかに記載の車両周辺画像処理装置。 - 【請求項９】 前記請求項１〜８のいずれかに記載の車
両周辺画像処理装による処理を実行させる手段を記憶し
ていることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384588A JP3813085B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384588A JP3813085B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189292A true JP2003189292A (ja) | 2003-07-04 |
| JP3813085B2 JP3813085B2 (ja) | 2006-08-23 |
Family
ID=27594283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001384588A Expired - Fee Related JP3813085B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3813085B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006131166A (ja) * | 2004-11-09 | 2006-05-25 | Alpine Electronics Inc | 運転支援装置 |
| JP2007109166A (ja) * | 2005-10-17 | 2007-04-26 | Sanyo Electric Co Ltd | 運転支援システム |
| WO2014171100A1 (ja) | 2013-04-15 | 2014-10-23 | 株式会社デンソー | 車両用画像処理装置 |
| CN108045306A (zh) * | 2016-11-03 | 2018-05-18 | 财团法人多次元智能It融合系统 | 结合对象检测及盲点检测的车辆用影像监控系统及其工作方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10744941B2 (en) | 2017-10-12 | 2020-08-18 | Magna Electronics Inc. | Vehicle vision system with bird's eye view display |
-
2001
- 2001-12-18 JP JP2001384588A patent/JP3813085B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006131166A (ja) * | 2004-11-09 | 2006-05-25 | Alpine Electronics Inc | 運転支援装置 |
| JP4573242B2 (ja) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | 運転支援装置 |
| JP2007109166A (ja) * | 2005-10-17 | 2007-04-26 | Sanyo Electric Co Ltd | 運転支援システム |
| WO2014171100A1 (ja) | 2013-04-15 | 2014-10-23 | 株式会社デンソー | 車両用画像処理装置 |
| JP2014207605A (ja) * | 2013-04-15 | 2014-10-30 | 株式会社デンソー | 車両用画像処理装置 |
| CN105144707A (zh) * | 2013-04-15 | 2015-12-09 | 株式会社电装 | 车辆用图像处理装置 |
| CN108045306A (zh) * | 2016-11-03 | 2018-05-18 | 财团法人多次元智能It融合系统 | 结合对象检测及盲点检测的车辆用影像监控系统及其工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3813085B2 (ja) | 2006-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4156214B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| EP2192552B1 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| US7920056B2 (en) | Driving support apparatus | |
| US20100171828A1 (en) | Driving Assistance System And Connected Vehicles | |
| US20110210868A1 (en) | Parking assistance apparatus | |
| US8553081B2 (en) | Apparatus and method for displaying an image of vehicle surroundings | |
| CN107465890B (zh) | 车辆的图像处理装置 | |
| US20110169957A1 (en) | Vehicle Image Processing Method | |
| JP2013541915A (ja) | 死角地帯の表示装置および方法 | |
| CN104442567A (zh) | 交通工具图像显示系统中的物体突显和传感 | |
| JP2006268076A (ja) | 運転支援システム | |
| EP3690799A1 (en) | Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping | |
| JP4192680B2 (ja) | 移動体周辺監視装置 | |
| JP2002354467A (ja) | 車両周囲情報表示装置 | |
| JP4154980B2 (ja) | 移動体周辺監視装置 | |
| JP4071463B2 (ja) | 車両周辺画像処理装置 | |
| JP2003178309A (ja) | 移動量推定装置 | |
| JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP3395393B2 (ja) | 車両周囲表示装置 | |
| JP2007134961A (ja) | 車両検出装置及びこれを用いた車両用表示装置 | |
| JP2004252837A (ja) | 車両周辺表示装置および車両周辺表示プログラム | |
| JP3813085B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| CN110077320B (zh) | 一种基于雷达的倒车方法及装置 | |
| JP2006252577A (ja) | 地図データ生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040408 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060530 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3813085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140609 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |