JP2002218451A - 移動体の周囲監視装置 - Google Patents

移動体の周囲監視装置

Info

Publication number
JP2002218451A
JP2002218451A JP2001310887A JP2001310887A JP2002218451A JP 2002218451 A JP2002218451 A JP 2002218451A JP 2001310887 A JP2001310887 A JP 2001310887A JP 2001310887 A JP2001310887 A JP 2001310887A JP 2002218451 A JP2002218451 A JP 2002218451A
Authority
JP
Japan
Prior art keywords
image
moving object
image data
vehicle
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001310887A
Other languages
English (en)
Other versions
JP3773433B2 (ja
Inventor
Kiyoshi Kumada
清 熊田
Nobutoshi Gako
宣捷 賀好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26601909&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2002218451(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001310887A priority Critical patent/JP3773433B2/ja
Priority to DE60101440T priority patent/DE60101440T3/de
Priority to EP01308662A priority patent/EP1197937B2/en
Priority to KR1020010062637A priority patent/KR100650121B1/ko
Priority to US09/975,678 priority patent/US7295229B2/en
Publication of JP2002218451A publication Critical patent/JP2002218451A/ja
Application granted granted Critical
Publication of JP3773433B2 publication Critical patent/JP3773433B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 移動体の周囲を容易に確認し、安全性を高め
る。 【解決手段】 移動体の周囲を監視するための移動体の
周囲監視装置は、その周囲の領域の映像を光学像に中心
射影変換する光学系と、撮像レンズを含み、前記中心射
影変換された光学像を画像データに変換する撮像部とを
含む少なくとも１つの全方位視覚センサーと、前記画像
データをパノラマ画像データおよび透視画像データの少
なくとも一方に変換する画像処理部と、前記パノラマ画
像データに対応するパノラマ画像および前記透視画像デ
ータに対応する透視画像の少なくとも一方を表示する表
示部と、前記表示部を制御する表示制御部とを備える、
全方位視覚システムを搭載する移動体の周囲監視装置で
あって、前記表示部が、前記移動体の周囲を俯瞰する前
記透視画像を表示する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、移動体の周囲を監
視するための移動体の周囲監視装置に関する。より詳細
には、人または貨物を輸送する自動車または電車を含む
移動体の周囲を監視するために用いられる移動体の周囲
監視装置に関する。
【０００２】
【従来の技術】近年における交通事故の増大は、大きな
社会問題となっている。特に、道路が交差する交差点
（Ｔ字交差または四つ角等）において、人の飛び出しに
起因する事故、車両同士の出合い頭の衝突事故、車両同
士の追突事故がしばしば発生している。これら交差点で
の交通事故の原因は、車両の運転者および歩行者共に、
安全を確認する上で必要とされる視界に比べて、実際に
得られる視界が狭く、その結果、十分な注意を払ってい
ないと危険の認識が遅れることに起因すると考えられ
る。よって、車両自体の改良および運転者の注意、道路
環境の整備等がさらに強く望まれている。
【０００３】従来から、道路環境を整備するために、交
差点のような視界が遮られているところにミラーが設置
されている。しかし、ミラーを設置するだけでは依然と
して視界が狭く、また、設置されるミラーの数もまだ十
分ではないため、安全にたいして万全であるとは言えな
い。
【０００４】また、車両の安全、特に後方確認を目的と
して、監視カメラを車両後部に設置し、ケーブルを通じ
て運転席の横または前方パネル部に設置したモニターに
監視用のカメラからの画像を表示するシステムが、バス
を含む大型車両または一部の乗用車において普及してい
る。しかし、この場合でも、車両の側方の安全確認は運
転者の視覚によるところが大きく、交差点のような視界
が遮られているところでは危険の認識が遅れることが多
い。さらに、この種のカメラは一般に視界が狭く、一つ
のカメラでは、一方向に対する障害物の有無または何ら
かの物体と衝突する危険性について確認することができ
るが、広範囲の障害物の有無または何らかの物体と衝突
する危険性について確認するためには、カメラの角度を
変化させる操作が必要である。
【０００５】すなわち、従来の車両周囲監視装置では、
一方向の監視することのみに重点がおかれており、車両
の周囲３６０゜に対する確認を行うためには、複数台
（例えば、前後左右計４台以上）のカメラが必要とな
る。
【０００６】また、高所、高緯度地域または冬場など、
周囲温度が所定の温度以下の場合、車両のエンジンを始
動後所定の時間経過するまでに、車両の窓ガラスに付着
した水滴またはその水滴が凍結すること等により、車両
の窓ガラスが曇って、車両内部から外部を目視しづらい
場合がしばしばある。車両を道路に駐車するとき、車両
の周辺に人または他の車両が接近することが多いが、そ
のような状況下で、車両の運転を開始する場合、車両の
窓ガラスの曇りをワイパーまたは温風などで十分に除去
しないと、車両の運転者は周囲の状況を認識することが
できず、危険である。
【０００７】
【発明が解決しようとする課題】車両を利用する際には
安全を確認して対応しなければならない状況がしばしば
ある。車両の出発時の周囲の確認、車両の左折時または
右折時、駐車場または車庫からの入出庫時に、車両の前
方だけでなく、車両の左右および後方の確認が必要とな
る。車両の運転者がこれらの確認を行うことは非常に重
要であるが、車両の構造上、運転席からの死角部分の安
全の確認が難しく、運転者にとっては多大な負担にな
る。
【０００８】さらに、従来の車両周囲監視装置を用いて
車両の周囲３６０゜に対する確認を行うためには、複数
台のカメラを必要とする。そして、これを使用する場合
には、運転者は、そのときの状況に応じて、モニターに
表示される画像を出力するカメラを切り替えるか、また
は、カメラの向きを変えて、車両の周囲の安全を確認す
る必要がある。これは、運転者に非常に大きな負担をか
けることになる。
【０００９】また、車両の窓ガラスが曇って、車両内部
から外部を目視しづらいような時に車両を運転する場
合、車両の運転者は、直接的に車両の周囲を目視するた
めに、車両内部の温度が上昇した結果、車両の窓ガラス
の曇りが晴れるまで待つか、または、車両の窓ガラスを
拭いて曇りをとる作業が必要である。その間、直接的に
車両の周囲を目視する以外の方法で車両の周囲の安全を
確認することができれば、より安全に運転を行なうこと
ができる。
【００１０】本発明は、このような従来技術の課題を解
決するためになされたものであり、移動体の周囲の状況
を容易に確認して運転者の負担を減らすことができ、安
全性を高めることができる移動体の周囲監視装置を提供
することを目的とする。
【００１１】さらに、移動体が移動可能状態になるとき
に、移動体のオペレータが移動体の周囲の状況を瞬時に
把握することができる移動体の周囲監視装置を提供する
ことをさらなる目的とする。
【００１２】
【課題を解決するための手段】本発明の移動体の周囲を
監視するための移動体の周囲監視装置は、その周囲の領
域の映像を光学像に中心射影変換する光学系と、撮像レ
ンズを含み、前記中心射影変換された光学像を画像デー
タに変換する撮像部とを含む少なくとも１つの全方位視
覚センサーと、前記画像データをパノラマ画像データお
よび透視画像データの少なくとも一方に変換する画像処
理部と、前記パノラマ画像データに対応するパノラマ画
像および前記透視画像データに対応する透視画像の少な
くとも一方を表示する表示部と、前記表示部を制御する
表示制御部とを備える、全方位視覚システムを搭載する
移動体の周囲監視装置であって、前記光学系は、２葉双
曲面のうちの一方の双曲面形状を有する双曲面ミラーを
含み、前記双曲面ミラーの光軸が前記撮像レンズの光軸
に一致し、前記撮像レンズの主点が前記双曲面ミラーの
一方の焦点位置に位置し、前記表示部が、前記移動体の
周囲を俯瞰する前記透視画像を表示する。
【００１３】前記少なくとも１つの全方位視覚センサー
は、前記移動体全体の周囲を俯瞰する映像を前記画像デ
ータに変換するように配置されてもよい。
【００１４】前記表示部は、前記パノラマ画像と前記透
視画像を同時に、または、切り替えて表示してもよい。
【００１５】前記表示部は、前記移動体の移動想定方向
と反対方向の領域の画像を表示してもよい。
【００１６】前記画像処理部は、前記周囲の領域のうち
の第１の領域に対応する画像データを第１の透視画像デ
ータに変換してもよい。
【００１７】前記画像処理部は、前記表示制御部からの
制御に応じて、前記周囲の領域のうちの、第１の領域と
は一致しない第２の領域に対応する画像データを前記第
１透視画像データとは一致しない第２の透視画像データ
に変換してもよい。
【００１８】前記第２の領域は、前記第１の領域を、平
行移動および拡大縮小のうちの少なくとも一方を行なっ
た領域に位置してもよい。
【００１９】前記光学系の光軸が前記移動体の移動想定
方向に対して垂直軸方向を向くように前記光学系が配置
されてもよい。
【００２０】前記表示部が、前記表示制御部からの制御
に応じて、表示部の表示画像の所定の位置に前記移動体
を表す画像を表示してもよい。
【００２１】また、前記表示部は、移動体の周囲を俯瞰
する透視画像を表示する際に、表示画面の所定の位置に
移動体を示す画像を表示させるのが好ましい。
【００２２】本発明によれば、表示部は、移動体の周囲
を俯瞰する透視画像を表示する。この場合、表示部が移
動体全体の周囲を俯瞰する透視画像を表示すると、移動
体のオペレータは１度に移動体の全ての方向の周囲を確
認することができる。
【００２３】１つの全方位視覚センサーが、直接的に移
動体全体の周囲を俯瞰する映像を画像データに変換する
ことが可能な場合、表示部は、その全方位視覚センサー
からの画像データを変換した移動体全体の周囲を俯瞰す
る透視画像を表示することができる。
【００２４】しかし、１つの全方位視覚センサーでは、
その配置により、直接的に移動体全体の周囲を俯瞰する
映像を画像データに変換することができない場合があ
る。例えば、取り付けた全方位視覚センサーの高さが車
両より高い位置にある場合は、全方位視覚センサーは、
直接的に車両全体の周囲を上方から俯瞰した映像を得る
ことができるが、取り付けた全方位視覚センサーの高さ
が車両の天井よりも低い場合、全方位視覚センサーの視
野の一部は、車両に妨害されて、車両全体の周囲を俯瞰
した映像を得ることができない。
【００２５】その場合、複数の全方位視覚センサーから
得られた複数の透視画像を合成して、車両全体の周囲を
俯瞰した１つの透視画像を表示してもよい。これによ
り、移動体のオペレータは１度に移動体の全ての方向の
周囲を確認することができる。
【００２６】また、画像処理部内の記憶部に、予め車両
を上方から撮影した画像を示す車両画像データを記憶さ
せ、記憶部に記憶された車両画像データと全方位視覚セ
ンサーによる映像を変換した透視画像データとを合成す
ることで、表示部は、表示部の表示画面の所定の位置に
車両を表す透視画像を表示してもよい。
【００２７】また、予め車両を上方から俯瞰した画像と
して、コンピュータグラフィックスによって作成した所
定の画像データを画像処理部内の記憶部に記憶し、全方
位視覚センサーで撮像した映像を変換した透視画像デー
タとその所定の画像データとを合成して、それにより、
表示部の表示画面の所定の位置に車両を表す画像を表示
してもよい。
【００２８】このように、移動体の画像と移動体の周囲
の透視画像とを合成して表示することで、移動体のオペ
レータは、移動体と移動体の周囲に存在する物体との相
対的距離を容易に把握することができる。予め移動体を
撮影した画像を表示することによって、移動体のオペレ
ータは、一層臨場感をもって移動体と移動体の周囲に存
在する物体との相対的距離を把握することができる。
【００２９】前記表示部は、前記移動体の移動想定方向
と反対方向の領域の画像と、前記移動体の移動想定方向
および前記移動想定方向と反対方向とは異なる方向の領
域の画像とを同時に表示してもよい。
【００３０】前記移動体は自動車であってもよい。
【００３１】前記自動車は、前記自動車の移動想定方向
側に位置する第１のバンパーと、前記自動車の前記移動
想定方向と反対方向側に位置する第２のバンパーとを有
し、前記少なくとも１つの全方位視覚センサーは、前記
第１のバンパーの上に設置される第１の全方位視覚セン
サーと、前記第２のバンパーの上に設置される第２の全
方位視覚センサーとを含んでもよい。
【００３２】前記第１の全方位視覚センサーは、前記第
１のバンパーのうちの前記自動車の移動想定方向に対し
て左端または右端のいずれか一方の上に設置され、前記
第２の全方位視覚センサーは、前記第２のパンバーのう
ちの前記第１の全方位視覚センサーの設置位置と対向す
る側の上に設置されてもよい。
【００３３】前記表示部は、前記第１の全方位視覚セン
サーによる第１の透視画像と、前記第２の全方位視覚セ
ンサーによる第２の透視画像とを合成した画像を表示し
てもよい。
【００３４】前記画像処理部は、前記移動体を表す画像
に変換される前記移動体画像データを記憶する記憶部を
備え、前記画像処理部は、前記移動体画像データと前記
画像データとを合成し、前記表示部は、前記移動体を表
す画像を含む前記透視画像を表示してもよい。
【００３５】前記移動体画像データは、コンピュータグ
ラフィックスによって作成される画像データであっても
よい。
【００３６】前記移動体画像データは、前記移動体を撮
影した画像データであってもよい。
【００３７】前記全方位視覚システムが、前記移動体の
周囲温度を測定する温度測定部をさらに備え、前記温度
測定部が測定した周囲温度が所定の温度以下である場
合、前記移動体が移動可能状態になるとき、前記表示部
は、前記移動体の周囲を俯瞰する透視画像を表示しても
よい。
【００３８】前記表示部は、前記第１の全方位視覚セン
サーによる前記移動体の周囲を俯瞰する透視画像の表示
領域と前記第２の全方位視覚センサーによる前記移動体
の周囲を俯瞰する透視画像の表示領域とが重なる領域に
おいて、前記表示制御部からの制御に基づいて、前記第
１の全方位視覚センサーまたは前記第２の全方位視覚セ
ンサーの一方に対応する透視画像を表示してもよい。
【００３９】また、さらに、移動体の周囲温度が所定の
温度以下の場合、移動体の移動可能状態になるとき、表
示部は、移動体の周囲を俯瞰した画像を表示するように
するのが好ましい。移動体の周囲を俯瞰した画像を得る
ためには、全方位視覚センサーは、移動体の移動想定方
向に対して垂直方向に配置されることが好ましい。移動
体が車両の場合、全方位視覚センサーの視野方向が９０
°下向き（鉛直軸方向下向き）の透視画像が得られるよ
うに、全方位視覚センサーは配置される。このように配
置された全方位視覚センサーが撮像した映像を変換した
透視画像を表示することにより、移動体のオペレータ
は、移動体周囲の安全確認を容易に行なうことができ
る。
【００４０】なお、本明細書において、光学系によって
中心射影変換される周囲の領域の映像は、同一の点を視
点とする光学系の周囲の領域の映像である。
【００４１】以下、本発明の作用について説明する。
【００４２】本発明にあっては、全方位視覚センサーの
光学系は、光学系の周囲の領域の映像を中心射影変換す
る。この光学系は、例えば、２葉双曲面のうちの一方の
双曲面形状を有する双曲面ミラーを含み、双曲面ミラー
の光軸が、全方位視覚センサーの撮像部に備わった撮像
レンズの光軸に一致し、かつ、撮像レンズの主点が双曲
面ミラーの片方の焦点に位置する。
【００４３】そして、光学系を通して受光される光学像
を撮像部により画像データに変換し、この画像データを
画像処理部によりパノラマ画像データおよび透視画像デ
ータのうちの少なくとも一方に変換する。
【００４４】表示部は、パノラマ画像データに対応する
パノラマ画像および透視画像データに対応する透視画像
のうちの少なくとも一方を表示する。
【００４５】撮像部で撮像した光学像は、双曲面ミラー
の一方の焦点を視点とした画像と見なすことができ、極
座標から直交座標への座標変換を行ってパノラマ画像ま
たは透視画像への変換が可能となる。
【００４６】表示画像の選択または表示される画像の大
きさの制御は表示制御部により行う。
【００４７】ある実施形態において、１つの全方位視覚
センサーは、移動体全体の周囲を俯瞰する透視画像デー
タが得られるように配置される。移動体が車両の場合、
一般に、その全方位視覚センサーの透視画像の視野方向
が下方向に９０゜になるように移動させることにより、
車両の周囲を俯瞰した画像を表示することが可能にな
る。
【００４８】これにより、表示部は、移動体の周囲を俯
瞰する透視画像を表示することができる。
【００４９】その結果、一方向の監視のみを重視した従
来の移動体監視装置のように、運転者が、表示部に表示
される画像を出力する複数のカメラを切り替えたり、カ
メラの向きを変えたりする必要がなく、容易に移動体の
周囲を確認することができる。
【００５０】表示部は、周囲の領域のうち、移動体の移
動想定方向と反対方向の領域の透視画像を表示する。
【００５１】あるいは、表示制御部からの制御に応じ
て、画像処理部によって平行移動（上下および／または
左右を含む）（パン・チルト）処理、および、拡大縮小
（ズームイン・ズームアウト）処理のうちの少なくとも
一方を行なった画像を表示することができる。
【００５２】それにより、例えば、駐車場または車庫で
の入出庫時もしくは車両の幅寄せ時に、左右の車両また
はその他の障害物との間隔を確認するのに最適である。
【００５３】なお、本明細書において、拡大縮小とは、
拡大または縮小のいずれかを意味する。
【００５４】光学系の光軸を移動体の移動想定方向に対
して垂直軸方向に向けるように光学系を配置する場合、
その光学系によって撮像された映像を変換した透視画像
は、移動体全体を俯瞰するような画像（すなわち、鳥瞰
図）となり得る。例えば、駐車場または車庫での入出庫
時もしくは車両の幅寄せ時に、左右の車両またはその他
の障害物との間隔を確認することが容易になる。なお、
光学系の光軸が車両の移動想定方向に対して鉛直方向に
向いていない場合でも、全方位視覚センサーの透視画像
の視野方向を鉛直軸下向きに合わせれば、所望の画像を
得ることができる。
【００５５】さらに、表示制御部からの制御に応じて、
移動体画像を表示部の表示画面の所定の位置（例えば、
表示画像の中心）に表示させることにより、移動体の周
囲の状況を容易に知ることができる。
【００５６】また、さらに、表示部の表示画面の所定の
位置に、予め撮影した移動体画像またはコンピュータグ
ラフィックスにより作成された移動体画像を表示するこ
とにより、移動体と移動体の周囲の物体（障害物等）の
相対的な位置関係を認識しやすい。
【００５７】さらに、表示部に、移動体の移動想定方向
と反対方向の領域の画像と、移動体の移動想定方向およ
び移動体の移動想定方向と反対方向とは異なる領域の画
像とを同時に表示させることにより、移動体の移動想定
方向以外の方向の確認を容易に行うことが可能となる。
概して、移動体のオペレータは、移動体の移動想定方向
を向いて移動体を操作するため、移動体の移動想定方向
以外の方向を確認することは安全の観点から利点があ
る。
【００５８】例えば、移動体が自動車である場合、前後
のバンパー上に２つの全方位視覚センサーを設置するこ
とにより、運転席から死角となる部分を容易に確認する
ことが可能となる。特に、車両の前方のある全方位視覚
センサーを左コーナー部および右コーナー部のいずれか
一方の上に設置し、車両の後方の別の全方位視覚センサ
ーを前方に設置した全方位視覚センサーの設置位置と対
角位置のコーナー部上に設置することにより、運転者の
死角となり易い移動体のすぐ側において移動体全体の周
囲略３６０゜の画像が得られる。
【００５９】さらに、車両の前方のコーナー部に設置し
た全方位視覚センサーにより得られる移動体の周囲を俯
瞰した透視画像と、前方とは対角に位置する後方のコー
ナー部に設置した全方位視覚センサーにより得られる移
動体の周囲を俯瞰した透視画像とを合成した透視画像を
表示部に表示させることにより、車両全体の周囲の画像
を１つの画面に表示することが可能となり、安全確認が
容易になる。
【００６０】また、さらに、高所、高緯度地域または冬
場等、移動体の周囲温度が所定の温度以下となり、移動
体内部から外部を目視しづらいような場合（例えば、移
動体が車両の場合、車両の窓ガラスが曇る場合）、移動
体が移動可能状態になるとき、表示部が移動体の周囲を
俯瞰した透視画像を表示することにより、移動体のオペ
レータは、移動体の周囲の安全確認を容易に行なうこと
ができる。移動体が車両の場合、全方位視覚センサーの
透視画像の視野方向を９０°下向き（鉛直軸方向下向
き）にすることで、車両の周囲の画像を表示することが
できる。
【００６１】
【発明の実施の形態】以下に、本発明の実施の形態につ
いて、図面を参照しながら説明する。
【００６２】（実施形態１）図１Ａは本発明の一実施形
態である移動体の周囲監視装置２００を備えた移動体１
００の構成を示す平面図であり、図１Ｂはその移動体１
００の側面図である。
【００６３】本実施形態において、移動体１００の具体
例として、移動体１００が車両である場合を説明する。
【００６４】本実施形態において、車両１００は、移動
体の周囲監視装置２００を搭載する。図１Ａおよび図１
Ｂに示される移動体の周囲監視装置２００は、全方位視
覚センサー２１０と、演算制御部２２０とを含む。全方
位視覚センサー２１０は、車両１００の天井（ルーフ）
の上に配置される。演算制御部２２０は、例えば、車両
１００の運転者の側に配置される。
【００６５】図１Ａおよび図１Ｂに示される全方位視覚
センサー２１０は、自身を中心として周囲の領域（略水
平方向３６０゜を含む）の視野を有している。
【００６６】図１Ｃは本発明の別の一実施形態である移
動体の周囲監視装置２００Ａを備えた移動体１００Ａの
構成を示す平面図であり、図１Ｄはその移動体１００Ａ
の側面図である。車両１００Ａは、移動体の周囲監視装
置２００Ａを搭載する。図１Ｃおよび図１Ｄに示される
移動体の周囲監視装置２００Ａは、第１の全方位視覚セ
ンサー２１０Ａと、第２の全方位視覚センサー２１０Ｂ
と、演算制御部２２０とを含む。第１の全方位視覚セン
サー２１０Ａは、車両１００Ａの前側に（車両１００Ａ
の前進方向）配置され、第２の全方位視覚センサー２１
０Ｂは、車両１００Ａの後ろ側に（車両１００Ａの後退
方向）配置される。演算制御部２２０は、例えば、車両
１００Ａの運転者の側に配置される。
【００６７】車両１００Ａは、さらに、車両１００の前
側に配置されるフロントバンパー１１０と、車両１００
Ａの後ろ側に配置されるリアバンパー１２０とを有す
る。
【００６８】図１Ｃおよび図１Ｄに示される車両１００
Ａでは、車両１００Ａのフロントバンパー１１０の中央
部上に第１の全方位視覚センサー２１０Ａが配置され、
リアバンパー１２０の中央部上に第２の全方位視覚セン
サー２１０Ｂが配置される。第１の全方位視覚センサー
２１０Ａおよび第２の全方位視覚センサー２１０Ｂのそ
れぞれは、自身を中心として周囲の領域（略水平方向３
６０゜を含む）の視野を有する。
【００６９】しかし、第１の全方位視覚センサー２１０
Ａの視野のうちの後方視野の略１８０゜は車両１００Ａ
によってふさがれるため、第１の全方位視覚センサー２
１０Ａの有効な視野は、第１の全方位視覚センサー２１
０Ａの略側方から前方の１８０゜である。また、リアバ
ンパー１２０上の第２の全方位視覚センサー２１０Ｂの
視野のうちの前方視野の略１８０゜は車両１００Ａによ
ってふさがれるため、第２の全方位視覚センサー２１０
Ｂの有効な視野は、第２の全方位視覚センサー２１０Ｂ
の略側方から後方の１８０゜である。
【００７０】図２は、本実施形態における移動体の周囲
監視装置２００の構成を説明するためのブロック図であ
る。
【００７１】この移動体の周囲監視装置２００は、その
周囲の領域の映像を画像データに変換する全方位視覚セ
ンサー２１０と、全方位視覚センサー２１０によって変
換された画像データを処理し、処理した画像を表示する
演算制御部２２０とを含む。なお、図１Ｃおよび図１Ｄ
に示される移動体の周囲監視装置２００Ａは、全方位視
覚センサーを２つ備える点を除いて移動体の周囲監視装
置２００と同様の機能を有する。また、図１Ｃおよび図
１Ｄに示される第１の全方位視覚センサー２１０Ａおよ
び第２の全方位視覚センサー２１０Ｂのそれぞれは、全
方位視覚センサー２１０と同様の機能を有する。
【００７２】全方位視覚センサー２１０は、その周囲の
視野領域の映像を中心射影変換する光学系２１２と、光
学系２１２によって中心射影変換された光学像を画像デ
ータに変換する撮像部２１４とを含む。撮像部２１４
は、撮像レンズ２１６と、中心射影変換された光学像を
受光する受光部２１７と、受光部２１７部によって受光
された光学像を画像データに変換する画像データ生成部
２１８とを含む。
【００７３】また、演算制御部２２０は、撮像部２１４
によって変換された画像データをパノラマ画像データお
よび透視画像データの少なくとも一方に変換する画像処
理部２３０と、画像処理部２３０からの出力２３６を表
示する表示部２４０と、画像処理部２３０からの出力２
３８および／または外部からの入力２５４に基づいて、
表示部２４０において表示される画像の選択または画像
の大きさなどを制御するための出力２５２を表示部２４
０に出力する表示制御部２５０とを備える。画像処理部
２３０は、所望の場合に、警報発生部２６０に出力２６
２を出力し、警報を発生させる。画像処理部２３０は、
画像変換部２３２と、出力バッファメモリー２３４と、
記憶部２３５とを含む。表示部２４０は、パノラマ画像
データに対応するパノラマ画像および透視画像データに
対応する透視画像の少なくとも一方の画像を表示する。
記憶部２３５は、画像処理部２３０の画像処理に関連す
る何らかのデータが記憶される。例えば、記憶部２３５
は、車両１００、１００Ａを上方から俯瞰した画像を記
憶している。
【００７４】画像処理部２３０は、例えば、車両１００
の前方エンジン室内または後方貨物室内に設置すること
が可能であり、表示部２４０および表示制御部２５０
は、運転席前方パネル内またはパネル横に設置すること
ができる。
【００７５】以下に、各部分について、詳細に説明す
る。
【００７６】図３は、中心射影変換が可能な光学系２１
２の具体例を示す。
【００７７】ここでは、光学系２１２は、２葉双曲面の
うちの一方の双曲面形状を有する双曲面ミラー３１０を
含む。双曲面ミラー３１０の光軸（Ｚ軸）３１２は、撮
像部２１４に備わった撮像レンズ２１６の光軸３１４に
一致するように、撮像レンズ２１６および双曲面ミラー
３１０は配置される。撮像レンズ２１６の第１主点２１
５は、双曲面ミラー３１０の片方の焦点（焦点）に位
置する。これにより、中心射影変換（撮像部２１４で撮
像した光学像を双曲面ミラー３１０の一方の焦点を視
点とする周囲の領域の映像と見なすこと）が可能にな
る。このような光学系２１２は、例えば特開平６−２９
５３３３号公報に詳述されているので、以下に特徴点の
みを説明する。
【００７８】図３において、双曲面ミラー３１０とは、
双曲線をＺ軸３１２を中心として回転して得られる２つ
の曲面（２葉双曲面）のうちの一方（Ｚ＞０の領域）の
曲面の凸状面に鏡面を形成したものである。この２葉双
曲面は、（Ｘ2＋Ｙ2）／ａ2−Ｚ2／ｂ2＝−１ ・・・
（１）ｃ2＝（ａ2＋ｂ2）で表される。なお、ａおよび
ｂは双曲面の形状を定義する定数であり、ｃは焦点の位
置を定義する定数である。本明細書において、ａ、ｂ、
ｃをミラー定数とよぶ。双曲面ミラー３１０は双曲線を
回転することによって得られる曲面形状であるので、双
曲線の回転軸は、この双曲面ミラー３１０の光軸３１２
となる。
【００７９】この双曲面ミラー３１０は２つの焦点と
とを有し、外部から一方の焦点（この場合は、焦点
）に向かう光は双曲面ミラー３１０で反射され、全て
他方の焦点（この場合は、焦点）に向かうという特徴
を有する。従って、双曲面ミラー３１０の光軸３１２と
撮像レンズ２１６の光軸３１４とを一致させると共に、
他方の焦点に撮像レンズ２１６の第１主点２１５を配
置することにより、撮像部２１４で撮像される光学像
は、視野方向によって視点位置を変えずに、一方の焦点
を視点中心とした周囲の領域の映像を画像データに変
換可能なことを意味する。ただし、この場合、双曲面ミ
ラー３１０の内部の領域の映像を撮像することができな
いことに留意されたい。また、実際には、撮像部２１４
が有限の大きさを有するため、撮像部２１４は、撮像部
２１４によって双曲面ミラー３１０の焦点に入射する
ことが妨げられる光を受光することはできない。
【００８０】撮像部２１４は、例えば、ビデオカメラで
ある。図３における双曲面ミラー３１０を介して受光す
る光学像を、ＣＣＤまたはＣＭＯＳ等の固体撮像素子を
利用して画像データに変換する。変換された画像データ
は、画像処理部２３０に送られる。
【００８１】図４Ａは、画像処理部２３０の詳細な構造
を示すブロック図である。
【００８２】画像処理部２３０は、画像変換部２３２
と、出力バッファメモリー２３４と、記憶部２３５とを
含む。画像変換部２３２は、Ａ／Ｄ変換器４１０と、入
力バッファメモリー４２０と、ＣＰＵ４３０と、ルック
アップテーブル（ＬＵＴ）４４０と、画像変換ロジック
４５０とを含む。画像処理部２３２のそれぞれの要素
と、出力バッファメモリー２３４とは、バスライン４６
０を介して接続される。
【００８３】図４Ｂは、画像変換部２３２の詳細な構造
を示すブロック図である。
【００８４】画像変換部２３２には、撮像部２１４にて
撮像された光学像を変換した画像データが入力される。
画像データがアナログ信号の場合には、Ａ／Ｄ変換器４
１０によりデジタル信号に変換された後で入力バッファ
メモリー４２０に入力される。画像データがデジタル信
号の場合には、直接入力バッファメモリー４２０に入力
される。
【００８５】画像変換部２３２では、上記入力バッファ
メモリー４２０からの出力を必要に応じて画像処理を施
す。画像処理は、例えば、画像変換ロジック４５０が、
ＬＵＴ４４０を用いて、画像データをパノラマ画像デー
タおよび透視画像データの少なくとも一方に変換した
り、表示すべき画像の平行移動（上下または左右への移
動）および／または拡大縮小することによって行なわれ
る。その後、画像処理後の画像データが図４Ａに示す出
力バッファメモリー２３４に入力される。これらの制御
は、ＣＰＵ４３０により制御される。このとき、ＣＰＵ
４３０は、所謂ＲＩＳＣ方式でも、ＣＩＳＣ方式でもよ
い。
【００８６】次に、上記画像変換ロジック４５０による
画像変換の原理について説明する。画像変換としては、
周囲の領域の映像を３６０゜のパノラマ画像に変換する
ためのパノラマ画像変換および透視画像に変換するため
の透視変換がある。また、透視画像は横回転移動（左右
移動、いわゆるパン動作）および縦回転移動（上下移
動、いわゆるチルト動作）が可能である。本明細書にお
いて、横回転移動および縦回転移動のうちの少なくとも
一方の移動を「平行移動」とよぶ。
【００８７】まず、３６０゜のパノラマ画像変換につい
て、図５を用いて説明する。図５（ａ）は、受光部２１
７によって受光される円形入力光学像５１０を示す。図
５（ｂ）は、円形入力光学像５１０をドーナツ状に切り
出し、切り開く様子を示す（５１５）。図５（ｃ）は、
円形入力光学像５１０を引き伸ばして直交座標に変換し
た後のパノラマ画像５２０を示す。
【００８８】図５（ａ）に示すように、円形入力光学像
５１０をその中心を原点とした極座標で表す場合、円形
入力光学像５１０上のある点（画素）Ｐの座標は（ｒ，
θ）で表わされる。図５（ｂ）に示すように、この円形
入力光学像５１０をドーナツ状に切り出して、ＰＯ（ｒ
ｏ，θｏ）を基準に切り開いて引き伸ばし、これを四角
いパノラマ画像５２０に変換する座標変換式は、パノラ
マ画像５２０上の点Ｐ２の座標を（ｘ，ｙ）とすると、 ｘ＝θ−θｏ ｙ＝ｒ−ｒｏ で表される。図５（ａ）の円形入力光学像５１０上の点
Ｐ１の座標を（Ｘ，Ｙ）とし、その中心Ｏの座標を（Ｘ
ｏ，Ｙｏ）とすると、 Ｘ＝Ｘｏ＋ｒ×ｃｏｓθ Ｙ＝Ｙｏ＋ｒ×ｓｉｎθ であるので、この式は、 Ｘ＝（ｙ＋ｒｏ）×ｃｏｓ（ｘ＋θｏ）＋Ｘｏ Ｙ＝（ｙ＋ｒｏ）×ｓｉｎ（ｘ＋θｏ）＋Ｙｏ と書きかえることができる。
【００８９】パノラマ画像のパン・チルト動作は、基準
点ＰＯ（ｒｏ、θｏ）の位置を別の位置に変えることに
より行うことができる。θｏを変えることによりパン動
作が行われ、ｒｏを変えることによりチルト動作が行わ
れる。但し、チルト動作については変換領域を外れてし
まうため、本実施形態では使用しない。
【００９０】次に、透視変換について、図６を用いて説
明する。透視変換における座標変換については、空間上
の点が入力光学像上のどの位置に対応するかを計算し、
入力光学像上の点の画像情報を透視変換後の周囲の映像
上の対応する座標位置に割り当てる方法を採用する。
【００９１】図６に示すように、空間上のある点をＰ３
とし、受光部２１７に形成される円形入力光学像上の対
応する点の座標をＲ（ｒ，θ）とし、撮像レンズ２１６
の焦点距離をＦとし、受光部２１７は、撮像レンズ２１
６から焦点距離Ｆ離れて配置される。さらに、双曲面ミ
ラー３１０のミラー定数を（ａ，ｂ，ｃ）（上記図３の
ａ、ｂ、ｃと同じ）とし、αを物点から双曲面ミラー３
１０の焦点へ向かう入射光の焦点から見た入射角（水
平面からの上下振れ角）、βを物点から双曲面ミラー３
１０の焦点へ向かう光が双曲面ミラー３１０で反射さ
れ、撮像レンズ２１６に入射する入射角（但し、撮像レ
ンズ２１６の光軸３１４からの角度ではなく、光軸３１
４に垂直な撮像レンズ２１６平面からの角度）とする
と、 ｒ＝Ｆ×ｔａｎ（（π／２）−β） ・・・（２） であり、ここで、 β＝ａｒｃｔａｎ（（（ｂ2＋ｃ2）×ｓｉｎα−２×ｂ
×ｃ）／（ｂ2−ｃ2）×ｃｏｓα） α＝ａｒｃｔａｎ（ｔｚ／ｓｑｒｔ（ｔｘ2＋ｔｙ2）） θ＝ａｒｃｔａｎ（ｔｙ／ｔｘ） となる。上記式（２）を整理すると、 ｒ＝Ｆ×（（（ｂ2−ｃ2）×ｓｑｒｔ（ｔｘ2＋ｔｙ2）） ／（（ｂ2＋ｃ2）×ｔｚ−２×ｂ×ｃ ×ｓｑｒｔ（ｔｘ2＋ｔｙ2＋ｔｚ2））） ・・・（２’） となる。さらに、円形入力光学像５１０上の点の座標を
直交座標に変換してＲ（Ｘ，Ｙ）とすると、 Ｘ＝ｒ×ｃｏｓθ ・・・（３） Ｙ＝ｒ×ｓｉｎθ ・・・（４） であるので、 Ｘ＝Ｆ×（（（ｂ2−ｃ2）×ｔｘ／（（ｂ2＋ｃ2）×ｔｚ−２×ｂ×ｃ ×ｓｑｒｔ（ｔｘ2＋ｔｙ2＋ｔｚ2））） ・・・（５） Ｙ＝Ｆ×（（（ｂ2−ｃ2）×ｔｙ／（（ｂ2＋ｃ2）×ｔｚ−２×ｂ×ｃ ×ｓｑｒｔ（ｔｘ2＋ｔｙ2＋ｔｚ2））） ・・・（６） となる。
【００９２】次に、横回転移動と縦回転移動について説
明する。
【００９３】まず、双曲面ミラー３１０の焦点から距
離Ｒ、俯角φ（図６のαと同じ）、Ｚ軸３１２周りの回
転角θの透視空間上に、図６に示すような幅Ｗ、高さｈ
の画像平面が存在すると仮定する。画像平面の中心がＰ
３である。このとき、画像平面上の点、例えば右上コー
ナーの点Ｑの座標（ｔｘ，ｔｙ，ｔｚ）は、 ｔｘ＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｃｏｓθ−（Ｗ／２）ｓｉｎθ ・・・（７） ｔｙ＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｓｉｎθ−（Ｗ／２）ｃｏｓθ ・・・（８） ｔｚ＝Ｒｓｉｎφ−（ｈ／２）ｃｏｓφ ・・・（９） で表される。従って、上記式（７）、（８）および
（９）を上記式（５）および（６）に代入することによ
り、入力画像面上のうちのＱと対応する点の座標ＸとＹ
とを求めることができる。すなわち、 Ｘ＝Ｆ×（（（ｂ2−ｃ2）×（（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ） ×ｃｏｓθ−（Ｗ／２）ｓｉｎθ）／（（ｂ2＋ｃ2）×（Ｒｓｉｎφ −（ｈ／２）ｃｏｓφ）−２×ｂ×ｃ×ｓｑｒｔ（Ｒ2＋（Ｗ／２）2 ＋（ｈ／２）2））） ・・・（１０） Ｙ＝Ｆ×（（（ｂ2−ｃ2）×（（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ） ×ｓｉｎθ−（Ｗ／２）ｃｏｓθ）／（（ｂ2＋ｃ2）×（Ｒｓｉｎφ −（ｈ／２）ｃｏｓφ）−２×ｂ×ｃ×ｓｑｒｔ（Ｒ2＋（Ｗ／２）2 ＋（ｈ／２）2））） ・・・（１１） となる。ここで、表示部２４０の画面サイズのピクセル
（画素）単位を幅ｎおよび高さｍとすると、上記式
（７）、（８）および（９）においてＷをＷ／ｎステッ
プでＷ〜−Ｗ、ｈをｈ／ｍステップでｈ〜−ｈまで変化
させたときに、入力光学像５１０上の対応する点の画像
データを表示部２４０が表示するように構成することに
より、透視画像を表示することができる。
【００９４】次に、透視変換における横回転移動と縦回
転移動（パン・チルト動作）について説明する。まず、
上述のようにして得られた点Ｑが横回転移動（左右移
動）した場合について説明する。横回転移動（Ｚ軸３１
２回りの回転）については、移動角度をΔθとすると、
移動後の座標（ｔｘ’，ｔｙ’，ｔｚ’）は、 ｔｘ’＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｃｏｓ（θ＋Δθ） −（Ｗ／２）ｓｉｎ（θ＋Δθ） ・・・（１２） ｔｙ’＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｓｉｎ（θ＋Δθ） ＋（Ｗ／２）ｃｏｓ（θ＋Δθ） ・・・（１３） ｔｚ’＝Ｒｓｉｎφ−（ｈ／２）ｃｏｓφ ・・・（１４） で表される。従って、横回転移動については、上記式
（１２）、（１３）および（１４）を上記式（５）およ
び（６）に代入することにより、（ｔｘ’、ｔｙ’、ｔ
ｚ’）と入力光学像５１０面上の対応する点の座標Ｘと
Ｙとを求めることができる。画像平面上の他の点（Ｑ点
以外の点）についても同様である。よって、上述したの
と同様に、上記式（１２）、（１３）および（１４）に
おいてＷ〜−Ｗ、ｈ〜−ｈまで変化させたときに、入力
光学像５１０面上の対応する点の画像データを表示部２
４０が表示するように構成することにより、横回転した
透視画像を表示することができる。
【００９５】次に、上述のようにして得られた点Ｑが縦
回転移動（上下移動）した場合について説明する。縦回
転移動（Ｚ軸３１２方向の回転）については、移動角度
をΔφとすると、移動後の座標（ｔｘ”，ｔｙ”，ｔ
ｚ”）は、 ｔｘ”＝（Ｒｃｏｓ（φ＋Δφ）＋（ｈ／２）ｓｉｎ（φ＋Δφ） ×ｃｏｓθ−（Ｗ／２）ｓｉｎθ ・・・（１５） ｔｙ”＝（Ｒｃｏｓ（φ＋Δφ）＋（ｈ／２）ｓｉｎ（φ＋Δφ） ×ｓｉｎθ＋（Ｗ／２）ｃｏｓθ ・・・（１６） ｔｚ”＝Ｒｓｉｎ（φ＋Δφ）−（ｈ／２）ｃｏｓ（φ＋Δφ） ・・・（１７） で表される。従って、縦回転移動については、上記式
（１５）、（１６）および（１７）を上記式（５）およ
び（６）に代入することにより、（ｔｘ”、ｔｙ”、ｔ
ｚ”）と入力光学像５１０面上の対応する点の座標Ｘと
Ｙとを求めることができる。他の平面上の点についても
同様である。よって、上記式（１５）、（１６）および
（１７）をＷ〜−Ｗ、ｈ〜−ｈまで変化させたときに、
入力光学像５１０面上の対応する点の画像データを表示
部２４０が表示するように構成することにより、縦回転
した透視画像が得られる。
【００９６】透視画像のズームイン・ズームアウト機能
については、上記式（１１）および（１２）において、
Ｗおよびｈを変えずにＲを小さくすると、焦点からの
視野領域が広がって光学的にズームアウトした場合と等
価な縮小画像が得られ、Ｒを大きくすると、視野領域が
狭くなって光学的にズームインした場合と等価な拡大画
像が得られる。
【００９７】ここで、撮像部２１４の光軸３１４が地面
に対して鉛直方向上向きになるように車両１００に取り
付け、縦回転移動によりα＝−９０゜となるように透視
画像の視野方向を選ぶと、その透視画像は車両１００の
周囲を真上から俯瞰するような画像（鳥瞰図）となる。
この画像において視野領域を広げるためには、上述した
ようにＲを小さくすればよく、拡大画像が欲しい場合に
はＲを大きくすればよい。さらに、表示制御部２５０か
らの制御（例えば、キー操作）により縮小された画像表
示を行うことにより、図１Ａおよび図１Ｂに示される全
方位視覚センサー２１０を中心として、自車両１００全
体を含む一定範囲の広さの周囲を真上から俯瞰するよう
な画像（鳥瞰図）となる。
【００９８】本明細書において、俯瞰とは、移動体１０
０の移動想定方向に対して垂直上方から移動体の映像を
撮像することを意味する。
【００９９】また、本明細書において、移動想定方向と
は、移動体１００の移動確率が最も高い方向を意味す
る。移動体１００は、移動想定方向に移動することを想
定して設計されており、また、一般に、移動体１００の
オペレータは、移動想定方向を直視するように位置して
いる。
【０１００】さらに、上述の透視画像は、焦点からあ
る選択された視野方向を中心として、その視野方向に垂
直な面を想定しているが、上記式（５）および（６）を
用いれば、視野方向に対して任意の位置および任意の角
度の透視画像面を設定し得ることは明らかである。ここ
で、例えば全方位視覚センサー２１０を車両１００の天
井ではなく、車両１００のコーナー部に設置した場合を
考えると、通常の透視画像では、全方位視覚センサー２
１０からの視野方向を中心として、その上下左右が等し
い間隔の画像となっているため、表示部２４０の表示画
面で表示される画像は、自車両１００の位置が中心から
ずれた位置に表示されるかもしれない。
【０１０１】そこで、例えば自車両１００の車幅を２ｌ
ｗとしたときに、上記式（１５）、（１６）および（１
７）において画像平面の範囲をＷ〜−Ｗ、ｈ〜−ｈとせ
ずに、横および縦に（μ，ν）だけ移動させて（ずらし
て）、Ｗ＋μ〜−Ｗ＋μ、ｈ＋ν〜−ｈ＋νとすること
により、自車両１００の位置を中心として画像表示する
ことが可能である。但し、ｌｗ＝√（μ2＋ν2）であ
る。このような処理は、画像処理部２３０により変換処
理する際に、Ｗおよびｈにμおよびνを加えることによ
り行うことができる。
【０１０２】表示部２４０は、例えば、ブラウン管、Ｌ
ＣＤやＥＬのモニターである。表示部２４０は、また、
画像処理部２３０の出力バッファメモリー２３４からの
出力を受け取り、画像を表示する。このとき、マイクロ
コンピューターを含む表示制御部２５０によって、表示
部２４０に表示する画像（画像処理部２３０により変換
されたパノラマ画像および／または透視変換画像）を選
択したり、または、表示される画像の方向、画像の大き
さを制御することができる。
【０１０３】図７は、表示部２４０によって表示される
表示画面７１０を示す。
【０１０４】この図７において、表示画面７１０は、第
１の透視画像表示部７２０と、第２の透視画像表示部７
３０と、第３の透視画像表示部７４０と、パノラマ画像
表示部７５０とを含む。第１の透視画像表示部７２０
は、デフォルトで、車両１００の周囲のうちの前方の透
視画像を表示し、第２の透視画像表示部７３０は、デフ
ォルトで、車両１００の周囲のうちの左側の透視画像を
表示し、第３の透視画像表示部７４０は、デフォルト
で、車両１００の周囲のうちの右側の透視画像を表示す
る。また、パノラマ画像表示部７５０は、車両１００の
周囲全体の映像を表示する。
【０１０５】表示画面７１０は、また、第１の透視画像
表示部７２０を説明するための第１の説明表示部７２
５、第２の透視画像表示部７３０を説明するための第２
の説明表示部７３５、第３の透視画像表示部７４０を説
明するための第３の説明表示部７４５を、パノラマ画像
表示部７５０を説明するための第４の説明表示部７５５
を含む。
【０１０６】表示画面７１０は、さらに、表示される透
視画像を平行移動させるための方向キー７６０と、画像
が表示する領域を拡大するための拡大キー７７０、画像
が表示する領域を縮小するための縮小キー７８０を含
む。
【０１０７】ここで、第１の説明表示部７２５、第２の
説明表示部７３５、第３の説明表示部７４５、第４の説
明表示部７５５は、第１の透視画像表示部７２０、第２
の透視画像表示部７３０、第３の透視画像表示部７４
０、パノラマ画像表示部７５０のそれぞれのアクティブ
スイッチになっている。利用者は、第１の説明表示部７
２５、第２の説明表示部７３５、第３の説明表示部７４
５、第４の説明表示部７５５を操作して、対応する第１
の透視画像表示部７２０、第２の透視画像表示部７３
０、第３の透視画像表示部７４０、パノラマ画像表示部
７５０をアクティブ状態にした後に、その表示部の画像
の平行移動および／または拡大縮小が可能になる。さら
に、第１の説明表示部７２５、第２の説明表示部７３
５、第３の説明表示部７４５、第４の説明表示部７５５
の表示色が変わることで、対応する第１の透視画像表示
部７２０、第２の透視画像表示部７３０、第３の透視画
像表示部７４０、パノラマ画像表示部７５０がアクティ
ブであることを示してもよい。
【０１０８】第１の透視画像表示部７２０、第２の透視
画像表示部７３０、第３の透視画像表示部７４０、パノ
ラマ画像表示部７５０は、方向キー７６０、拡大キー７
７０、縮小キー７８０を操作することにより、平行（上
下左右）移動および／または拡大縮小させることができ
る。また、パノラマ画像表示部７５０については、方向
キー７６０を操作することにより上下左右移動させるこ
とができる。但し、パノラマ画像表示部７５０について
は、拡大縮小は行われない。
【０１０９】例えば、利用者が、第１の説明表示部７２
５を押すと、その信号が表示制御部２５０に送られる。
表示制御部２５０は、第１の説明表示部７２５の色を変
更させるか、または点滅させることによって、第１の透
視画像表示部７２０がアクティブ状態であることを示
す。それと共に第１の透視画像表示部７２０がアクティ
ブ状態になり、方向キー７６０、拡大キー７７０、縮小
キー７８０からの信号に応じて、表示制御部２５０から
画像処理部２３０の画像変換部２３２に信号が送られ
る。そして、方向キー７６０、拡大キー７７０、縮小キ
ー７８０キーのそれぞれに対応して変換された画像が、
表示部２４０に送られ、画面に表示される。
【０１１０】表示画面７１０は、さらに全方位視覚セン
サー切り換えキー７９０を含んでもよい。
【０１１１】ここで、例えば運転者が、画面上の近くに
ある全方位視覚センサー切り換えキー７９０を操作する
と、その操作に応じて、表示制御部２５０から画像処理
部２３０および表示部２４０に信号が送られ、前方の全
方位視覚センサー（図１Ｃ、１Ｄの２１０Ａ）による画
像と後方の全方位視覚センサー（図１Ｃ、１Ｄの２１０
Ｂ）による画像が切り換えられる。そして、例えば後方
の全方位視覚センサー２１０Ｂを選んだ場合には、後方
の全方位視覚センサー２１０Ｂの画像が表示される。さ
らに、３つの透視画像表示部７２０、７３０、７４０の
うちの真ん中に位置する第１の画像表示部７２０を選択
し、方向キー７６０により下方向に−９０゜まで画面を
チルトさせると、上述したように、自車両１００Ａの後
方部の周囲を真上から俯瞰した画像が得られる。この画
像を図８に示す。
【０１１２】図８は、表示部２４０が表示する別の表示
画面８１０を示す。
【０１１３】図８に示すように、表示画面８１０は、第
１の透視画像表示部８３０のみを拡大して表示すること
もできる。第１の説明表示部８２０は、第１の透視画像
表示部８３０が車両１００Ａの後部の周囲を俯瞰する後
部鳥瞰図であることを示す。このように鳥瞰図的表示を
行うことは、特に、駐車場または車庫での入出庫時もし
くは幅寄せ時に左右の車両またはその他の障害物との間
隔を確認するのに最適である。
【０１１４】この図８は、全方位視覚センサー２１０Ｂ
を後述する実施形態２に示すように、車両１００Ａのコ
ーナー部に設置した場合を示している。この場合、全方
位視覚センサー２１０Ｂの視野は、視野の略９０゜が自
車両１００Ａによりふさがれるため（図の領域８６
０）、約２７０゜である。これに対し、レアバンパー１
２０の中央部に設けた全方位視覚センサー２１０Ｂ（図
１Ｃおよび１Ｄ参照）を設けた場合、後方１８０゜の視
野の画像が得られる。
【０１１５】さらに、図７に示される第２の透視画像表
示部７３０および第３の透視画像表示部７４０は、各々
左右に３６０゜回転の任意の角度回転させた画像を表示
することも可能である。第２の透視画像表示部７３０ま
たは第３の透視画像表示部７４０が、左右のいずれか一
方に９０゜回転させた画像を表示することにより、前方
または後方の透視画像が得られる。なお、この表示画面
への切り換えは、表示画面にさらなる操作ボタンを設け
て、図７に示されるような表示画面から１回のボタン操
作で切り換えられるようにしてもよい。
【０１１６】（実施形態２）図９Ａは実施形態２の移動
体の周囲監視装置１０００を備えた車両９００の構成を
示す平面図であり、図９Ｂはその車両９００の側面図で
ある。
【０１１７】本実施形態では、車両９００の前方コーナ
ー部上に全方位視覚センサー１０１０Ａを配置し、その
対角位置の後方コーナー部上に全方位視覚センサー１０
１０Ｂを配置している点で、車両１００Ａとは異なる。
【０１１８】全方位視覚センサー１０１０Ａ、１０１０
Ｂのそれぞれは、自身を中心として略水平方向３６０゜
の視野を含む周囲の視野を有する。しかし、前方コーナ
ー部上の全方位視覚センサー１０１０Ａの有効な視野
は、斜め後方視野略９０゜が車両９００によってふさが
れるため、略２７０゜である。また、後方コーナー部上
の全方位視覚センサー１０１０Ｂの有効な視野は、斜め
前方視野略９０゜が車両９００にふさがれるため、略２
７０゜である。よって、２つの全方位視覚センサー１０
１０Ａ、１０１０Ｂを合わせて、運転者の死角となりや
すい車両９００全体の周囲の略３６０゜の画像が得られ
る。
【０１１９】ここで、例えば運転者が、図７に示された
ような表示画面７１０の真ん中に位置する第１の透視画
像表示部７２０を選んだ場合には、表示画面７１０は、
通常、全方位視覚センサー１０１０Ａからの視野方向を
中心とした画像であり、画像上で自車両９００の位置が
表示画像の中心からずれた位置に表示されることがあ
る。そこで、上述したように、表示画面に表示される自
車両９００を表す画像を所定の位置（例えば、表示画像
の中心）に表示するようにシフトさせることも可能であ
る。
【０１２０】図１０は、本実施の形態による表示画面１
１１０を示す。画像処理部２３０または表示部２４０
が、前方コーナー部の全方位視覚センサー１０１０Ａに
より得られる鳥瞰図的画像と、その対角位置の後方コー
ナー部の全方位視覚センサー１０１０Ｂにより得られる
鳥瞰図的画像とを合成することにより、図１０に示すよ
うに、表示画面１１１０は、自車両９００の周囲の画像
を１度に１つの画面に表示させることも可能である。
【０１２１】なお、全方位視覚センサーを取り付ける高
さが自車両より高い場合、自車両の周囲を上方から俯瞰
した映像が得られるが、取り付け高さが自車両の高さよ
りも低い場合には、実際には自車両を横からみた映像し
か得られない。そこで、図８および図１０に示すような
自車両を表す画像を表示するために、予め自車両を上方
から撮影した画像を用意するか、または，コンピュータ
グラフィックスにより自車両の周囲を上方から俯瞰した
画像を用意し、表示画面内の表示画像の所定の位置に合
成表示（スーパーインポーズ）させるができる。これに
より、車両の運転者は、車両の周囲の状況を容易に確認
することができ、例えば、駐車場での白線位置または障
害物との間隔をより容易に認識できる。
【０１２２】また、さらに、図１１に示すように、車両
９００の対角するコーナー部に設置された２つの全方位
視覚センサー１０１０Ａ、１０１０Ｂからの画像を合成
表示するときに、両方の全方位視覚センサー１０１０
Ａ、１０１０Ｂの画像の重なる領域１、領域４について
は、どちらか一方の全方位視覚センサーの画像を選択し
て表示するように構成されている。このような構成のと
き、選択された一方の全方位視覚センサーの領域１、領
域４の画像と、他方の全方位視覚センサーの領域２、領
域３の画像との間に視野方向の違いによる不連続が生
じ、その部分は車両９００の運転者には非常に見ずらい
画像となる。
【０１２３】そこで、車両９００の運転者が、画面の近
くにある表示制御部２５０に接続された切替キー７９０
を操作すると、その信号が表示制御部２５０に送られ、
キー操作に対応して表示制御部２５０から画像処理部２
３０および表示部２４０に信号が送られ、重なる領域の
画像が、運転者がより注意したい領域と連続した画像に
なるように、領域１または領域４の画像が切り替えられ
る。そして、例えば、車両９００の運転者が領域１と領
域２との間よりも、領域１と領域３との間をより注意し
たいとき、運転者が切替キー７９０を操作して、領域１
の画像として、領域３を撮像している全方位視覚センサ
ー１０１０Ａの画像を選択すると、領域１と領域３が連
続した画像となり、領域１と領域２との間が不連続とな
る。一方、逆に、運転者が切替キー７９０を操作して、
領域１の画像として、領域２を撮像している全方位視覚
センサー１０１０Ｂの画像を選択すると、領域１と領域
２が連続した画像となり、領域１と領域３との間が不連
続となる。領域４についても同様である。
【０１２４】（実施形態３）図１２Ａは実施形態３の移
動体の周囲監視装置１３００を備えた車両１２００の構
成を示す平面図であり、図１２Ｂはその車両１２００の
側面図である。
【０１２５】図１２Ａおよび図１２Ｂに示される移動体
の周囲監視装置１３００は、車両１２００の外部の最適
な位置（例えば、天井部前方）に周囲温度を計測する温
度測定部２７０が設置されている点で、移動体の周囲監
視装置１０００とは異なる。
【０１２６】図１３は、実施形態３の移動体の周囲監視
装置１３００を示すブロック図である。移動体の周囲監
視装置１３００は、演算制御部１３２０が温度測定部２
７０を備えている点で、図２に示した移動体の周囲監視
装置２００とは異なる。
【０１２７】本実施形態では、車両１２００の外部の最
適な位置（例えば、天井部前方）に周囲温度を計測する
温度測定部２７０が設置されている。さらに、ケーブル
を通じて本監視装置の表示制御部２５０に接続されてお
り、車両のエンジン始動時に、温度測定部２７０の測定
結果が所定の温度以下のとき、表示制御部２５０は、温
度測定部２７０からの出力２５６に基づいて、例えば、
一定期間、自動的に図１０に示すような自車両１２００
の周囲の画像を１度に１つの表示画面に表示させるよう
に構成される。このように構成することにより、車両１
２００の周囲温度が所定の温度以下の場合、車両１２０
０の窓ガラスが曇って周囲が見えなくても、車両１２０
０の運転者は容易に周囲の安全を確認することができ
る。
【０１２８】なお、上記実施形態１〜３では、全方位視
覚センサーを車両のルーフ、または、バンパー上に設置
しているが、ボンネット上、サイドミラー上等に設置し
てもよい。また、上記実施形態１〜３では、車両とし
て、特に乗用車を意図して説明したが、本発明は乗用者
に限定されるものではなく、バス等の大型車や貨物用車
両についても同様に本発明を適用可能である。特に、貨
物用車両では、貨物室によって運転車の後方視界が遮ら
れることが多いため、本発明が特に有効である。また、
本発明による移動体として、電車に適用することも可能
であり、さらに、飛行機や移動ロボット全般にも適用可
能である。
【０１２９】
【発明の効果】以上詳述したように、本発明によれば、
例えば車両のバンパー上部やコーナー部等に全方位視覚
センサーを設置することにより、運転席から死角となる
部分を容易に確認することが可能となる。従来の車両監
視装置のように運転者が表示装置に表示される映像を出
力する複数のカメラを切り替えたり、カメラの向きを替
えたりしなくてもよいので、出発時の周囲確認時、左折
時や右折時、駐車場や車庫からの入出庫時の安全確認
等、左右後方確認を行って安全運転を確実に行うことが
できる。
【０１３０】さらに、任意の表示画像、表示方向や画像
サイズを切り替えて表示することができ、特に、駐車場
や車庫での入出庫時や幅寄せ時等に、鳥瞰図的表示に表
示を切り替えることにより、左右の車両やその他の障害
物との間隔を確認できる等、安全確認を容易に行って、
接触事故等を防ぐことができる。
【図面の簡単な説明】
【図１Ａ】本発明の実施形態１の移動体の周囲監視装置
を備えた車両の構成を示す平面図である。
【図１Ｂ】本発明の実施形態１の移動体の周囲監視装置
を備えた車両の構成を示す側面図である。
【図１Ｃ】本発明の実施形態１の変形例の移動体の周囲
監視装置を備えた車両の構成を示す平面図である。
【図１Ｄ】本発明の実施形態１の変形例の移動体の周囲
監視装置を備えた車両の構成を示す側面図である。
【図２】本発明の一実施形態である移動体の周囲監視装
置の構成を説明するためのブロック図である。
【図３】本発明の一実施形態である移動体の周囲監視装
置における光学系の構成例を示す斜視図である。
【図４Ａ】本発明の一実施形態である移動体の周囲監視
装置における画像処理部の構成例を示すブロック図であ
る。
【図４Ｂ】本発明の一実施形態である移動体の周囲監視
装置における画像処理部内の画像変換部の構成例を示す
ブロック図である。
【図５】本発明の一実施形態である移動体の周囲監視装
置における、入力光学像からパノラマ画像への変換につ
いて模式的に説明するための平面図であり、（ａ）は撮
像部で得られた円形入力光学像を示し、（ｂ）はドーナ
ツ状に切り出して切り開く途中の様子を示し、（ｃ）は
引き伸ばして直交座標に変換した後のパノラマ画像を示
す。
【図６】本発明の一実施形態である移動体の周囲監視装
置における、入力光画像から透視画像への変換について
説明するための斜視図である。
【図７】本発明の一実施形態である移動体の周囲監視装
置における表示部の表示形態の例を示す図である。
【図８】本発明の一実施形態である移動体の周囲監視装
置における表示部の表示形態の他の例を示す図である。
【図９Ａ】本発明の実施形態２の移動体周囲監視装置を
備えた車両の構成を示す平面図である。
【図９Ｂ】本発明の実施形態２の移動体周囲監視装置を
備えた車両の構成を示す側面図である。
【図１０】本発明の実施形態２の移動体の周囲監視装置
における表示部の表示形態の他の例を示す図である。
【図１１】本発明の実施形態２の移動体の周囲監視装置
における表示部の表示形態の他の例における画像の領域
区分を示す図である。
【図１２Ａ】本発明の実施形態３の移動体周囲監視装置
を備えた車両の構成を示す平面図である。
【図１２Ｂ】本発明の実施形態３の移動体周囲監視装置
を備えた車両の構成を示す側面図である。
【図１３】本発明の実施形態３の移動体の周囲監視装置
の概略を示すブロック図である。
【符号の説明】
１００、１００Ａ 車両 １１０ フロントバンパー １２０ リアバンパー ２００、２００Ａ 移動体の周囲監視装置 ２１０、２１０Ａ、２１０Ｂ 全方位視覚センサー ２１２ 光学系 ２１４ 撮像部 ２１６ 撮像レンズ ２１７ 受光部 ２１８ 画像データ生成部 ２２０ 演算制御部 ２３０ 画像処理部 ２３２ 画像変換部 ２３４ 出力バッファメモリー ２３５ 記憶部 ２４０ 表示部 ２５０ 表示制御部 ２７０ 温度測定部 ３１０ 双曲面ミラー ３１２ 双曲面ミラー３１０の光軸 ３１４ 撮像レンズ２１６の光軸 ４１０ Ａ／Ｄ変換器 ４２０ 入力バッファメモリー ４３０ ＣＰＵ ４４０ ＬＵＴ ４５０ 画像変換ロジック ４６０ バスライン ５１０ 円形入力画像 ５１５ ドーナツ状に切り出し、切り開く途中の状態 ５２０ パノラマ画像 ７１０ 表示画面 ７２０ 第１の透視画像表示部 ７２５ 第１の説明表示部 ７３０ 第２の透視画像表示部 ７３５ 第２の説明表示部 ７４０ 第３の透視画像表示部 ７４５ 第３の説明表示部 ７５０ パノラマ画像表示部 ７５５ 第４の説明表示部 ７６０ 方向キー ７７０ 拡大キー ７８０ 縮小キー ７９０ 全方位視覚センサー切り換えキー ８１０ 表示画面 ８２０ 第１の説明表示部 ８３０ 拡大した第１の透視画像表示部 ９００ 車両 １０００ 移動体の周囲監視装置 １０１０Ａ、１０１０Ｂ 全方位視覚センサー １１１０ 表示画面 １２００ 車両 １３００ 移動体の周囲監視装置 １３１０Ａ、１３１０Ｂ 全方位視覚センサー １１１０ 表示画面 １３２０ 演算制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２６ Ｂ６０Ｒ 21/00 ６２６Ｇ ６２８ ６２８Ｆ Ｇ０２Ｂ 17/08 Ｇ０２Ｂ 17/08 Ｚ Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｗ Ｇ０６Ｔ 1/00 ４２０ Ｇ０６Ｔ 1/00 ４２０Ｃ Ｆターム(参考） 2H087 KA00 KA03 TA01 TA03 TA06 5B047 AA19 AB02 BB04 BC05 BC09 BC23 CA23 CB18 5C054 AA05 CA04 CC02 CF01 EA01 EA05 FA02 FD02 HA30

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】 移動体の周囲を監視するための移動体の
    周囲監視装置であって、 その周囲の領域の映像を光学像に中心射影変換する光学
    系と、撮像レンズを含み、前記中心射影変換された光学
    像を画像データに変換する撮像部とを含む少なくとも１
    つの全方位視覚センサーと、 前記画像データをパノラマ画像データおよび透視画像デ
    ータの少なくとも一方に変換する画像処理部と、 前記パノラマ画像データに対応するパノラマ画像および
    前記透視画像データに対応する透視画像の少なくとも一
    方を表示する表示部と、 前記表示部を制御する表示制御部とを備える、全方位視
    覚システムを搭載する移動体の周囲監視装置であって、 前記光学系は、２葉双曲面のうちの一方の双曲面形状を
    有する双曲面ミラーを含み、前記双曲面ミラーの光軸が
    前記撮像レンズの光軸に一致し、前記撮像レンズの主点
    が前記双曲面ミラーの一方の焦点位置に位置し、 前記表示部が、前記移動体の周囲を俯瞰する前記透視画
    像を表示する、移動体の周囲監視装置。
  2. 【請求項２】 前記少なくとも１つの全方位視覚センサ
    ーは、前記移動体全体の周囲を俯瞰する映像を前記画像
    データに変換するように配置される、請求項１に記載の
    移動体の周囲監視装置。
  3. 【請求項３】 前記表示部は、前記パノラマ画像と前記
    透視画像を同時に、または、切り替えて表示する、請求
    項１に記載の移動体の周囲監視装置。
  4. 【請求項４】 前記表示部は、前記移動体の移動想定方
    向と反対方向の領域の画像を表示する、請求項１に記載
    の移動体の周囲監視装置。
  5. 【請求項５】 前記画像処理部は、前記周囲の領域のう
    ちの第１の領域に対応する画像データを第１の透視画像
    データに変換する、請求項１に記載の移動体の周囲監視
    装置。
  6. 【請求項６】 前記画像処理部は、前記表示制御部から
    の制御に応じて、前記周囲の領域のうちの、第１の領域
    とは一致しない第２の領域に対応する画像データを前記
    第１透視画像データとは一致しない第２の透視画像デー
    タに変換する、請求項５に記載の移動体の周囲監視装
    置。
  7. 【請求項７】 前記第２の領域は、前記第１の領域を、
    平行移動および拡大縮小のうちの少なくとも一方を行な
    った領域に位置する、請求項６に記載の移動体周囲監視
    装置。
  8. 【請求項８】 前記光学系の光軸が前記移動体の移動想
    定方向に対して垂直軸方向を向くように前記光学系が配
    置される、請求項１に記載の移動体の周囲監視装置。
  9. 【請求項９】 前記表示部が、前記表示制御部からの制
    御に応じて、前記表示部の表示画像の所定の位置に前記
    移動体を表す画像を表示する、請求項１に記載の移動体
    の周囲監視装置。
  10. 【請求項１０】 前記表示部は、前記移動体の移動想定
    方向と反対方向の領域の画像と、前記移動体の移動想定
    方向および前記移動想定方向と反対方向とは異なる方向
    の領域の画像とを同時に表示する、請求項１に記載の移
    動体の周囲監視装置。
  11. 【請求項１１】 前記移動体は自動車である、請求項１
    に記載の移動体の周囲監視装置。
  12. 【請求項１２】 前記自動車は、前記自動車の移動想定
    方向側に位置する第１のバンパーと、前記自動車の前記
    移動想定方向と反対方向側に位置する第２のバンパーと
    を有し、 前記少なくとも１つの全方位視覚センサーは、前記第１
    のバンパーの上に設置される第１の全方位視覚センサー
    と、前記第２のバンパーの上に設置される第２の全方位
    視覚センサーとを含む、請求項１１に記載の移動体の周
    囲監視装置。
  13. 【請求項１３】 前記第１の全方位視覚センサーは、前
    記第１のバンパーのうちの前記自動車の移動想定方向に
    対して左端または右端のいずれか一方の上に設置され、 前記第２の全方位視覚センサーは、前記第２のパンバー
    のうちの前記第１の全方位視覚センサーの設置位置と対
    向する側の上に設置される、請求項１２に記載の移動体
    の周囲監視装置。
  14. 【請求項１４】 前記表示部は、前記第１の全方位視覚
    センサーによる第１の透視画像と、前記第２の全方位視
    覚センサーによる第２の透視画像とを合成した画像を表
    示する、請求項１３に記載の移動体の周囲監視装置。
  15. 【請求項１５】 前記画像処理部は、前記移動体を表す
    画像に変換される前記移動体画像データを記憶する記憶
    部を備え、 前記画像処理部は、前記移動体画像データと前記透視画
    像データとを合成し、 前記表示部は、前記移動体を表す画像を含む透視画像を
    表示する、請求項１に記載の移動体の周囲監視装置。
  16. 【請求項１６】 前記移動体画像データは、コンピュー
    タグラフィックスによって作成される画像データであ
    る、請求項１５に記載の移動体の周囲監視装置。
  17. 【請求項１７】 前記移動体画像データは、前記移動体
    を撮影した画像データである、請求項１５に記載の移動
    体の周囲監視装置。
  18. 【請求項１８】 前記全方位視覚システムが、前記移動
    体の周囲温度を測定する温度測定部をさらに備え、 前記温度測定部が測定した周囲温度が所定の温度以下で
    ある場合、前記移動体が移動可能状態になるとき、前記
    表示部は、前記移動体の周囲を俯瞰する透視画像を表示
    する、請求項１に記載の移動体の周囲監視装置。
  19. 【請求項１９】 前記表示部は、前記第１の全方位視覚
    センサーによる前記移動体の周囲を俯瞰する透視画像の
    表示領域と前記第２の全方位視覚センサーによる前記移
    動体の周囲を俯瞰する透視画像の表示領域とが重なる領
    域において、前記表示制御部からの制御に基づいて、前
    記第１の全方位視覚センサーまたは前記第２の全方位視
    覚センサーの一方に対応する透視画像を表示する、請求
    項１３に記載の移動体の周囲監視装置。
JP2001310887A 2000-10-11 2001-10-09 移動体の周囲監視装置 Expired - Fee Related JP3773433B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001310887A JP3773433B2 (ja) 2000-10-11 2001-10-09 移動体の周囲監視装置
DE60101440T DE60101440T3 (de) 2000-10-11 2001-10-11 Umgebungsüberwachungssystem für beweglichen Körper
EP01308662A EP1197937B2 (en) 2000-10-11 2001-10-11 Surround surveillance apparatus for mobile body
KR1020010062637A KR100650121B1 (ko) 2000-10-11 2001-10-11 이동체용 주위 감시 장치
US09/975,678 US7295229B2 (en) 2000-10-11 2001-10-11 Surround surveillance apparatus for mobile body

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000311206 2000-10-11
JP2000-311206 2000-10-11
JP2001310887A JP3773433B2 (ja) 2000-10-11 2001-10-09 移動体の周囲監視装置

Publications (2)

Publication Number Publication Date
JP2002218451A true JP2002218451A (ja) 2002-08-02
JP3773433B2 JP3773433B2 (ja) 2006-05-10

Family

ID=26601909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001310887A Expired - Fee Related JP3773433B2 (ja) 2000-10-11 2001-10-09 移動体の周囲監視装置

Country Status (5)

Country Link
US (1) US7295229B2 (ja)
EP (1) EP1197937B2 (ja)
JP (1) JP3773433B2 (ja)
KR (1) KR100650121B1 (ja)
DE (1) DE60101440T3 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078907A (ja) * 2001-08-30 2003-03-14 Tokai Rika Co Ltd 車両用監視装置
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
EP1547866A1 (en) 2003-12-25 2005-06-29 Sharp Kabushiki Kaisha Surrounding surveillance apparatus and mobile body
JP2006025317A (ja) * 2004-07-09 2006-01-26 Nissan Motor Co Ltd 画像情報処理装置及び画像情報処理方法
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2006054662A (ja) * 2004-08-11 2006-02-23 Mitsubishi Electric Corp 運転支援装置
JP2006253872A (ja) * 2005-03-09 2006-09-21 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
JP2010167893A (ja) * 2009-01-22 2010-08-05 Denso Corp 車両周辺表示装置
WO2013047012A1 (ja) * 2011-09-27 2013-04-04 アイシン精機株式会社 車両周辺監視装置
KR101406211B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 avm 영상 제공 장치 및 방법

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
US20030202110A1 (en) * 2002-04-30 2003-10-30 Owens James W. Arrangement of images
US20030227424A1 (en) * 2002-06-05 2003-12-11 Lynch Marvin L. Method and apparatus for in-vehicle traffic flow viewing
JP3849645B2 (ja) * 2003-01-20 2006-11-22 ソニー株式会社 監視装置
DE10303013A1 (de) * 2003-01-27 2004-08-12 Daimlerchrysler Ag Fahrzeug mit einer katadioptrischen Kamera
DE10307607A1 (de) * 2003-02-22 2004-09-09 Daimlerchrysler Ag Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge
JP2004312638A (ja) 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US20050062845A1 (en) 2003-09-12 2005-03-24 Mills Lawrence R. Video user interface system and method
JP2007519549A (ja) * 2004-02-20 2007-07-19 シャープ株式会社 周囲状況提示システムおよび周囲状況提示方法
DE102004042281A1 (de) * 2004-09-01 2006-03-02 Daimlerchrysler Ag Hilfsvorrichtung für das Handhaben eines Fahrzeugs
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP4639753B2 (ja) 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
DE102005006754A1 (de) * 2005-02-15 2006-08-17 Robert Bosch Gmbh Weitwinkeliges Kamera-Spiegel-System für Beobachtungszwecke
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
US8885045B2 (en) 2005-08-02 2014-11-11 Nissan Motor Co., Ltd. Device and method for monitoring vehicle surroundings
DE102006006850B4 (de) * 2006-02-15 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausrichtung eines verschwenkbaren Fahrzeugsensors
US20070271028A1 (en) * 2006-05-18 2007-11-22 Zicheng Liu Method and Apparatus for Vehicle Safety Surveillance
US8013838B2 (en) * 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
JP4758481B2 (ja) * 2007-01-16 2011-08-31 パイオニア株式会社 車両用画像処理装置及び車両用画像処理プログラム
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
DE102007016956A1 (de) 2007-04-05 2008-10-09 Continental Teves Ag & Co. Ohg Fahrerassistenzsystem
US20080266397A1 (en) * 2007-04-25 2008-10-30 Navaratne Dombawela Accident witness
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
DE102009050368A1 (de) 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
DE102008061760A1 (de) 2008-12-12 2010-06-17 Daimler Ag Vorrichtung zur Überwachung einer Umgebung eines Fahrzeugs
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
FR2956364B1 (fr) * 2010-02-18 2016-01-29 Peugeot Citroen Automobiles Sa Dispositif d'aide aux manoeuvres d'un vehicule par affichage de points de vue fonction de la position de la tete du conducteur
DE102010015079A1 (de) * 2010-04-15 2011-10-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug
US9210307B2 (en) 2010-11-04 2015-12-08 Magna Electronics, Inc. Vehicular camera system with reduced number of pins and conduits
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
WO2012116043A1 (en) 2011-02-25 2012-08-30 Magna Electronics Inc. Vehicular camera with aligned housing members and electrical connection between aligned housing members
DE112012003931T5 (de) 2011-09-21 2014-07-10 Magna Electronics, Inc. Bildverarbeitungssystem für ein Kraftfahrzeug mit Bilddatenübertragung undStromversorgung über ein Koaxialkabel
US9264673B2 (en) 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
TWI457861B (zh) * 2011-12-19 2014-10-21 Transpac Corp 監控裝置及其方法
US9565342B2 (en) 2012-03-06 2017-02-07 Magna Electronics Inc. Vehicle camera with tolerance compensating connector
US10089537B2 (en) 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9288446B2 (en) * 2012-09-10 2016-03-15 Nissan North America, Inc. Vehicle video system
TWI517992B (zh) * 2012-11-13 2016-01-21 義晶科技股份有限公司 車用影像系統及其影像之顯示控制方法
US10057544B2 (en) 2013-03-04 2018-08-21 Magna Electronics Inc. Vehicle vision system camera with integrated physical layer components
US9834143B2 (en) * 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
EP3030459A1 (en) * 2013-08-07 2016-06-15 Audi AG Visualization system,vehicle and method for operating a visualization system
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置
US9881220B2 (en) 2013-10-25 2018-01-30 Magna Electronics Inc. Vehicle vision system utilizing communication system
DE102015202846B4 (de) 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
US9688199B2 (en) 2014-03-04 2017-06-27 Magna Electronics Inc. Vehicle alert system utilizing communication system
US9971947B2 (en) 2014-07-31 2018-05-15 Magna Electronics Inc. Vehicle vision system with camera power control
US9729636B2 (en) 2014-08-01 2017-08-08 Magna Electronics Inc. Smart road system for vehicles
US10356337B2 (en) 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
US9740945B2 (en) 2015-01-14 2017-08-22 Magna Electronics Inc. Driver assistance system for vehicle
US10032369B2 (en) 2015-01-15 2018-07-24 Magna Electronics Inc. Vehicle vision system with traffic monitoring and alert
JP6222137B2 (ja) * 2015-03-02 2017-11-01 トヨタ自動車株式会社 車両制御装置
US10298818B2 (en) 2015-03-23 2019-05-21 Magna Electronics Inc. Vehicle camera with enhanced imager and PCB assembly
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US10875403B2 (en) 2015-10-27 2020-12-29 Magna Electronics Inc. Vehicle vision system with enhanced night vision
US11027654B2 (en) 2015-12-04 2021-06-08 Magna Electronics Inc. Vehicle vision system with compressed video transfer via DSRC link
US10132971B2 (en) 2016-03-04 2018-11-20 Magna Electronics Inc. Vehicle camera with multiple spectral filters
KR101866875B1 (ko) 2016-06-10 2018-07-23 (주)헥스하이브 전방위 촬상용 영상 시스템 및 블랙박스
KR101671340B1 (ko) 2016-03-15 2016-11-01 (주)헥스하이브 전방위 촬상용 렌즈 조립체
US10380439B2 (en) 2016-09-06 2019-08-13 Magna Electronics Inc. Vehicle sensing system for detecting turn signal indicators
US10607094B2 (en) 2017-02-06 2020-03-31 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
JP7130923B2 (ja) * 2017-07-19 2022-09-06 株式会社アイシン 表示制御装置
CN107396061B (zh) * 2017-08-25 2018-05-01 胡海明 重型卡车实时监控系统
CN107371001B (zh) * 2017-08-25 2018-07-20 北京中都格罗唯视物流有限公司 一种重型卡车实时监控系统
US10933798B2 (en) 2017-09-22 2021-03-02 Magna Electronics Inc. Vehicle lighting control system with fog detection
US10682966B2 (en) 2017-11-16 2020-06-16 Magna Electronics Inc. Vehicle light/display control system using camera
US11417107B2 (en) 2018-02-19 2022-08-16 Magna Electronics Inc. Stationary vision system at vehicle roadway
DE102018206062A1 (de) * 2018-04-20 2019-10-24 Robert Bosch Gmbh Verfahren zur Steuerung eines Anzeigesystems
US11683911B2 (en) 2018-10-26 2023-06-20 Magna Electronics Inc. Vehicular sensing device with cooling feature
JP7038643B2 (ja) * 2018-11-26 2022-03-18 本田技研工業株式会社 映像表示装置
US11609304B2 (en) 2019-02-07 2023-03-21 Magna Electronics Inc. Vehicular front camera testing system
US11535158B2 (en) 2019-03-28 2022-12-27 Magna Electronics Inc. Vehicular camera with automatic lens defogging feature
US11135883B2 (en) 2019-05-13 2021-10-05 Magna Electronics Inc. Vehicular sensing system with ultrasonic sensor at trailer hitch
US11750905B2 (en) 2020-08-14 2023-09-05 Magna Electronics Inc. Vehicular camera with inductive lens heater
US11801795B2 (en) 2020-09-18 2023-10-31 Magna Electronics Inc. Vehicular camera with lens heater with connectors
US11749105B2 (en) 2020-10-01 2023-09-05 Magna Electronics Inc. Vehicular communication system with turn signal identification
CN112822359B (zh) * 2020-12-30 2022-03-25 山东大学 一种基于车载式钻爆洞隧道的全景成像系统及方法
US12115918B2 (en) 2022-01-31 2024-10-15 Magna Mirrors Of America, Inc. Vehicular trailering assist system with auxiliary side trailer cameras

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4420238A (en) * 1982-04-19 1983-12-13 Felix Larry L Apparatus for enabling concealing surveillance by use of a camera in a vehicle
GB2185360B (en) * 1986-01-11 1989-10-25 Pilkington Perkin Elmer Ltd Display system
JP2939087B2 (ja) 1993-04-07 1999-08-25 シャープ株式会社 全方位視覚系
JPH08167100A (ja) 1994-12-12 1996-06-25 Hisaji Nakamura 操縦装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP3453960B2 (ja) 1995-10-24 2003-10-06 日産自動車株式会社 車両周囲モニタ装置
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
EP1408693A1 (en) * 1998-04-07 2004-04-14 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
US6477464B2 (en) * 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
JP3327255B2 (ja) * 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
US6704048B1 (en) * 1998-08-27 2004-03-09 Polycom, Inc. Adaptive electronic zoom control
JP2000295604A (ja) * 1999-04-06 2000-10-20 Yazaki Corp 車両用後側方監視装置
JP3627914B2 (ja) 2000-05-23 2005-03-09 シャープ株式会社 車両の周囲監視システム
US6422062B1 (en) * 2000-08-29 2002-07-23 Delphi Technologies, Inc. Integrated glass fog sensor unit
US6424273B1 (en) * 2001-03-30 2002-07-23 Koninklijke Philips Electronics N.V. System to aid a driver to determine whether to change lanes
US7697027B2 (en) * 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US6521868B1 (en) * 2001-11-02 2003-02-18 Ford Global Technologies, Inc. Method and apparatus for heating a portion of a vehicle

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078907A (ja) * 2001-08-30 2003-03-14 Tokai Rika Co Ltd 車両用監視装置
JP4658408B2 (ja) * 2001-08-30 2011-03-23 株式会社東海理化電機製作所 車両用監視装置
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
US7190259B2 (en) 2003-12-25 2007-03-13 Sharp Kabushiki Kaisha Surrounding surveillance apparatus and mobile body
EP1547866A1 (en) 2003-12-25 2005-06-29 Sharp Kabushiki Kaisha Surrounding surveillance apparatus and mobile body
JP2005191962A (ja) * 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
JP2006025317A (ja) * 2004-07-09 2006-01-26 Nissan Motor Co Ltd 画像情報処理装置及び画像情報処理方法
JP4661112B2 (ja) * 2004-07-09 2011-03-30 日産自動車株式会社 画像情報処理装置及び画像情報処理方法
JP4590962B2 (ja) * 2004-07-21 2010-12-01 日産自動車株式会社 車両用周辺監視装置
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2006054662A (ja) * 2004-08-11 2006-02-23 Mitsubishi Electric Corp 運転支援装置
JP2006253872A (ja) * 2005-03-09 2006-09-21 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
JP2010167893A (ja) * 2009-01-22 2010-08-05 Denso Corp 車両周辺表示装置
WO2013047012A1 (ja) * 2011-09-27 2013-04-04 アイシン精機株式会社 車両周辺監視装置
JP2013074423A (ja) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd 車両周辺監視装置
US9467679B2 (en) 2011-09-27 2016-10-11 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
KR101406211B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 avm 영상 제공 장치 및 방법

Also Published As

Publication number Publication date
EP1197937B2 (en) 2007-08-01
EP1197937B1 (en) 2003-12-10
JP3773433B2 (ja) 2006-05-10
KR20020028853A (ko) 2002-04-17
US20020080017A1 (en) 2002-06-27
US7295229B2 (en) 2007-11-13
KR100650121B1 (ko) 2006-11-24
DE60101440T3 (de) 2008-04-17
DE60101440D1 (de) 2004-01-22
EP1197937A1 (en) 2002-04-17
DE60101440T2 (de) 2004-09-23

Similar Documents

Publication Publication Date Title
JP3773433B2 (ja) 移動体の周囲監視装置
JP3627914B2 (ja) 車両の周囲監視システム
US7190259B2 (en) Surrounding surveillance apparatus and mobile body
JP2005167638A (ja) 移動体周囲監視装置、移動体および画像変換方法
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
KR100414708B1 (ko) 화상합성장치 및 방법
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
JP3372944B2 (ja) 監視システム
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
WO2002089485A1 (fr) Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule
JP3753681B2 (ja) 監視システム
US8131429B2 (en) Driver observation and security system and method therefor
WO2002007443A1 (fr) Systeme de controle
JP2003204547A (ja) 車両周囲監視装置およびその調整方法
US20130155236A1 (en) Camera-mirror system for motor vehicle
KR20110080985A (ko) 차량용 다시점 룸미러
JP2006044596A (ja) 車両用表示装置
JP3968271B2 (ja) 車輌周辺視認装置
JP2011155651A (ja) 車両周辺画像表示装置および車両周辺画像表示方法
US20200406819A1 (en) Driver-assisting system for an industrial vehicle
JP2003125396A (ja) 車両周囲表示装置、車両周囲表示方法及び車両周囲表示プログラム
JP2005193838A (ja) 車両周囲表示装置
JP2011182254A (ja) 車両用運転支援装置
JP3231104U (ja) レーダー装置に対応する移動車両用画像撮影装置
JP2019038372A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120224

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees