JP2002373327A - 車両周辺画像処理装置及び記録媒体 - Google Patents

車両周辺画像処理装置及び記録媒体

Info

Publication number
JP2002373327A
JP2002373327A JP2001178776A JP2001178776A JP2002373327A JP 2002373327 A JP2002373327 A JP 2002373327A JP 2001178776 A JP2001178776 A JP 2001178776A JP 2001178776 A JP2001178776 A JP 2001178776A JP 2002373327 A JP2002373327 A JP 2002373327A
Authority
JP
Japan
Prior art keywords
bird
eye view
image
vehicle
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001178776A
Other languages
English (en)
Other versions
JP4156214B2 (ja
Inventor
Katsuyuki Imanishi
勝之 今西
Hirohiko Yanagawa
博彦 柳川
Tetsutoshi Ishikawa
哲理 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2001178776A priority Critical patent/JP4156214B2/ja
Priority to KR1020037002069A priority patent/KR100550299B1/ko
Priority to PCT/JP2002/002525 priority patent/WO2002104032A1/ja
Priority to US10/333,745 priority patent/US7317813B2/en
Priority to DE10292327T priority patent/DE10292327B4/de
Priority to CNB028029828A priority patent/CN1210958C/zh
Publication of JP2002373327A publication Critical patent/JP2002373327A/ja
Application granted granted Critical
Publication of JP4156214B2 publication Critical patent/JP4156214B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10—Automatic or semi-automatic parking aid systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 カメラの視野の外に出た部分を描画するとと
もに、演算処理の負担を軽減することができる車両周辺
画像処理装置及び記録媒体を提供すること。 【解決手段】 ステップ１１０では、カメラ１で撮影し
た画像の座標変換を行って、鳥瞰図画像を作成する。ス
テップ１２０では、鳥瞰図変換を画像メモリＡに記憶す
る。ステップ１３０では、車速信号及びヨーレイト信号
に基づいて、車両の移動量を求める。ステップ１４０で
は、車両の移動量に基づいて、画像メモリＢに記憶され
ている鳥瞰図画像を移動させて、移動後鳥瞰図画像を求
める。ステップ１５０では、新たな第２鳥瞰図画像を画
像メモリＡから読み込む。ステップ１６０では、移動後
鳥瞰図画像と第２鳥瞰図画像とを合成して合成鳥瞰図画
像を作成する。ステップ１７０では、合成鳥瞰図画像を
画像メモリＢに記憶する。ステップ１８０では、画像メ
モリＢの合成鳥瞰図画像をモニタ５に表示する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えば車両の周辺
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。
【０００２】
【従来の技術】従来より、車両の後方の様子を表示する
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。
【０００３】また、これとは別に、特開平１０−２１１
８４９号公報には、後方カメラで撮影した画像（後方カ
メラ画像）を鳥瞰図に変換し、自車両をその中に表示す
るという技術が提案されている。
【０００４】
【発明が解決しようとする課題】この技術の場合には、
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。
【０００５】そのため、例えば車両を後退させて駐車枠
に入れるような場合には、カメラの視野外に出た駐車枠
を表示できないので、依然として、車両を駐車枠に入れ
る操作が容易ではないという問題があった。これに対し
て、既に本願発明者らにより、車両後部に取り付けたカ
メラから、車両後方の画像を撮影し、画像処理でこれら
を上から見た鳥瞰画像に変換し、変換した画像の時間的
変化から車両の動きを算出して、カメラの視野外に消え
て行く画像領域を算出し、更に現時刻の変換画像を貼り
付けて、従来より広い範囲を表示する技術が開発されて
いる。
【０００６】この技術は、それ以前の技術よりも優れて
いるものであるが、画像処理のための演算は膨大なもの
であるので、演算処理の負担の軽減など、一層の改善が
望まれている。本発明は、前記課題を解決するためにな
されたものであり、例えばカメラの視野の外に出た部分
を推定して描画することができるとともに、その演算処
理の負担を軽減することができる車両周辺画像処理装置
及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】（１）請
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。
【０００８】本発明では、撮影手段により撮影した画像
を、例えば撮影手段を視点として投影した地上面座標系
のデータに変換して鳥瞰図画像の画像データを順次作成
する。即ち、第１鳥瞰図画像及びそれより後の画像であ
る第２鳥瞰図画像等の画像データを作成する。これによ
り、画像は、例えばカメラで撮影したままの歪んだ画像
ではなく、地面の上方より見たような見やすい鳥瞰図画
像となる。
【０００９】更に、本発明では、車両の動き量（移動
量）を、車両から得られる車両信号（例えば車速信号や
ヨーレイト信号）に基づいて検出する。この検出した車
両の動き量は、第１鳥瞰図画像の動き量に対応している
ので、車両の動き量に応じて第１鳥瞰図画像を移動させ
て移動後鳥瞰図画像の画像データを作成する。
【００１０】そして、（第１鳥瞰図画像より）新しい第
２鳥瞰図画像の画像データと、移動後鳥瞰図画像の画像
データとを合成して、表示手段に表示する合成鳥瞰図画
像の画像データを作成する。つまり、車両が移動するに
つれて、例えばカメラの視野が変化するので、当然、撮
影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像で
は、画像のずれ（撮影された部分の違い）が発生する。
そこで、本発明では、第２鳥瞰図画像に、そのずれの部
分（即ち過去に視野内であったが現在視野から消えてい
る部分）の移動後鳥瞰図画像を適宜加味することによ
り、モニタ等にカメラの視野から消えた部分を表示で
き、それによって、車両の周囲の状況をより明確に把握
することができる。
【００１１】この様に、本発明では、例えばカメラの現
在の視野から外れた領域を表示できるので、例えばバッ
クで駐車する場合に、その操作が極めて容易になるとい
う効果を奏する。特に、本発明では、画像の時間的変化
から車両の動きを算出して移動後鳥瞰図画像を作成する
のではなく、車両信号を用いて移動後鳥瞰図画像を作成
するので、画像処理のための演算等を簡易化できるとい
う利点がある。
【００１２】よって、マイクロコンピュータ等の負担が
軽減するので、全体として処理速度を高めることができ
る。また、演算処理能力の低いマイクロコンピュータで
も処理が可能になるので、コストダウンにも寄与する。 （２）請求項２の発明では、合成鳥瞰図画像は、第２鳥
瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像
を加入した画像である。
【００１３】本発明は、合成鳥瞰図画像の形成方法を例
示したものである。これにより、車両の周囲の画像を連
続して表示することができる。つまり、上述した様に、
例えばカメラにより現在撮影されている画像は、第２鳥
瞰図画像としてモニタに表示可能であるので、それ以前
のモニタから消えてしまう画像を、移動後鳥瞰図画像と
して第２鳥瞰図画像の表示領域以外に加えることによ
り、カメラの視野から消えた過去の周囲の状況をもモニ
タに表示することができる。
【００１４】（３）請求項３の発明では、合成鳥瞰図画
像に用いる第２鳥瞰図画像として、最新の鳥瞰図画像を
用いる。本発明では、第２鳥瞰図画像として、新たにカ
メラ等にて撮影された最新の鳥瞰図画像を用いるので、
車両の周辺の状況をより的確に把握することができる。
【００１５】（４）請求項４の発明では、メモリＡに、
鳥瞰図画像作成手段により作成された鳥瞰図画像を記憶
し、メモリＢに、合成鳥瞰図画像作成手段により作成さ
れた合成鳥瞰図画像を記憶する。本発明は、各鳥瞰図画
像を記憶するメモリを例示したものである。
【００１６】（５）請求項５の発明では、メモリＢに記
憶された合成鳥瞰図画像を、表示手段に表示する。これ
により、合成鳥瞰図画像をモニタ等に表示することがで
きる。 （６）請求項６の発明では、表示手段に合成鳥瞰図画像
を表示する場合には、自車両を示す画像を加えて表示す
る。
【００１７】本発明では、車両の周囲の状況を示す合成
鳥瞰図画像に自車両を示す画像を加えて表示することに
より、自車両と例えば駐車枠との位置関係が明瞭となる
ので、車両の操作が容易になる。尚、例えばカメラは車
両の所定位置に固定されているので、例えばモニタの画
面における自車両の位置は常に一定である。従って、モ
ニタの画面の決まった位置に自車両を表示することがで
き、更には、モニタの画面上に予めプリント等により車
両を記載してもよい。
【００１８】また、カメラの視野角も通常は一定である
ので、自車両だけでなく、モニタの画面に、カメラの視
野角（左右の範囲）も表示してもよい。 （７）請求項７の発明は、上述した車両周辺画像処理装
置による処理を実行させる手段を記憶している記録媒体
である。
【００１９】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。
【００２０】
【発明の実施の形態】以下に、本発明の車両周辺画像処
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例） ａ）本実施例の基本的なシステム構成を図１及び図２を
用いて説明する。
【００２１】図１に示す様に、本実施例の車両周辺画像
処理装置は、自動車の後部に配置されたカメラ（例えば
ＣＣＤカメラ）１と、ダッシュボードに配置された車載
モニタ（例えば液晶ディスプレイ）３と、車速を検出す
る車速センサ５と、ヨーレイトを検出するヨーレイトセ
ンサ７と、画像処理を行う画像処理ユニット９を備えて
いる。
【００２２】前記画像処理ユニット９は、図２に示す様
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、カメラ１で撮影した画像デ
ータの座標変換を行って鳥瞰図画像を作成する座標変換
部（鳥瞰図変換回路）１１と、作成された鳥瞰図画像の
画像データを一時的に蓄える画像メモリＡと、車速信号
を入力する車速信号入力回路１３と、ヨーレイト信号を
入力するヨーレイト信号入力回路１５と、車速信号及び
ヨーレイト信号を読み込んで鳥瞰図画像を移動（例えば
回転移動）させる等の演算を行うＣＰＵ１７と、モニタ
３に表示する鳥瞰図画像のデータを記憶する画像メモリ
Ｂとを備えている。
【００２３】ここで、画像メモリＢに記憶する鳥瞰図画
像の画像データとは、後述する様に、前回（例えば時刻
Ｔに）カメラ１にて撮影され、その画像データに基づい
て作成された鳥瞰図画像（第１鳥瞰図画像）を移動させ
た鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば
時刻Ｔ＋１に）カメラ１にて撮影され、その画像データ
に基づいて作成された鳥瞰図画像（第２鳥瞰図画像）と
を合成した鳥瞰図画像（合成鳥瞰図画像）の画像データ
である。
【００２４】尚、画像処理ユニット３は、カメラ１と一
体の構造となっていてもよく、画像処理ユニット９内の
各構成は、一部又は全体で一体化してＬＳＩで構成して
もよい。い。 ｂ）次に、本実施例における画像処理の手順等を、図３
〜図５に基づいて説明する。
【００２５】ここでは、車両を後退（バック）させて駐
車枠内に入れる場合を例に挙げる。 最初に、カメラ１から入力された画像を、鳥瞰図変換
回路１１で上空から見た鳥瞰図画像に変換し、画像メモ
リＡに保存する手順を説明する。まず、カメラ１から出
力される原画像（出力画像）を、図３（ａ）に示すが、
この原画像は、車両の後部の上部に配置されたカメラ１
により、地上に描かれた駐車枠及びその周囲を撮影した
画像であるので、自車両（従ってカメラ１）と駐車枠の
各線の位置との距離などに応じて、本来矩形である駐車
枠が歪んで表示されている。
【００２６】よって、後ににて詳述する様に、原画像
の画像データを座標変換して、図３（ｂ）に示す様な歪
みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像デ
ータを画像メモリＡに記憶する。 次に、前記カメラ１で撮影された原画像を鳥瞰図画像
に変換する手順を説明する。尚、この手順は、以下に説
明する様に、従来技術（例えば特開平１０−２１１８４
９号公報）を利用できる。
【００２７】ここでは、通常の透視変換の逆の処理を行
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図４に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。
【００２８】詳しくは、カメラ１は、Ｚ軸上の点Ｒ
（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ
座標面）における画像をモニタしているとする。従っ
て、ここでは、下記式（１）に示す様にして、スクリー
ン平面Ｔ上の２次元座標（α、β）を、地上面上の座標
（鳥瞰図座標）に変換（逆の透視変換）できる。
【００２９】
【数１】
【００３０】つまり、上記式（１）を用いることによ
り、投影画像データを（鳥瞰図画像を示す）モニタ５の
画面に対応した画像データに変換してモニタ表示するこ
とができる。 次に、車速信号とヨーレイト信号を用い、車両の動き
量（移動量）に応じて、前記画像メモリＡに記憶した鳥
瞰図画像を移動（例えば回転移動）させる手順を説明す
る。
【００３１】ここでは、図５に時刻Ｔの車両位置を示す
が、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻
Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中
心における回転角度θＣ）とする。 ・まず、カメラ１のサンプリング時間が１００[ｍｓ]の
場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用い
て、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算
出できる。
【００３２】 Ｌ[ｍ]＝Ｓ[ｋｍ／ｈ]×１０００[ｍ／ｋｍ]÷３６００[Ｓ／ｈ] ×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（２） また、図５に示す図形の関係があるので、ヨーレイト信
号から得られるヨーレイトθ０[度／ｓ]を用いて、下記
式（３）から、車両が動いた角度θ１を算出できる。
【００３３】 θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・（３） 更に、ここでは、車両の回転中心は後輪車軸の延長線上
にあるとしているので、その回転中心は、カメラ位置を
原点として算出し、車両の進行方向をＹ、これに垂直な
方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、
下記式（４）から算出できる。
【００３４】 ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１）・・（４） 一方、Ｙ方向の中心位置は、後輪車軸上であるので、カ
メラ１と後輪車軸までの距離はＹＣ[ｃｍ]である。ま
た、回転中心における回転角度θＣは、図５に示す図形
の関係から、車両が動いた角度θ１に一致する。
【００３５】・次に、上述した様にして求めた回転中心
位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記の様
にして、鳥瞰図画像を移動する。画像メモリＡに記憶さ
れた鳥瞰図画像の画像データは、一旦、画像メモリＢに
も記憶される。従って、ここでは、画像メモリＢに記憶
された鳥瞰図画像の画像データを、ＣＰＵ１７の内部メ
モリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回
転角度θＣを用いて、鳥瞰図画像を回転移動する。
【００３６】この回転移動を行うための変換式を、下記
式（５）に示すが、この変換式を用いたＣＰＵ１７の内
部処理により、回転角度θにて移動させた移動後の座標
（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、
ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、Ｙ
Ｂ）のアドレスメモリに保存する。
【００３７】 ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（４） ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ 但し、（ＸＡ、ＹＢ）：移動前の座標 （ＸＢ、ＹＢ）：移動後の座標 θ ：回転角度 ・そして、全ての座標についてこれらの演算を行うこと
により、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔ
における第１鳥瞰図画像）から、移動後の鳥瞰図画像
（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００３８】それとともに、新たにカメラ１により撮影
した画像に基づいて作成した鳥瞰図画像、即ち、現在の
鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、
新たに画像メモリＡよりＣＰＵ１７に転送する。よっ
て、ＣＰＵ１７では、第２鳥瞰図画像を時刻Ｔと位置関
係が対応する位置（移動後鳥瞰図画像との画像のずれが
生じない位置）に書き込み、それによって、移動後鳥瞰
図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の
画像データを作成し、その画像データを画像メモリＢに
記憶する。
【００３９】尚、合成鳥瞰図画像を作成する際には、自
車両の位置やカメラ１の視野角の画像なども加入して画
像メモリＢに記憶し、その合成鳥瞰図画像をモニタ５の
画面に表示してもよいが、自車両の位置やカメラ１の視
野角の画像などは画像メモリＢに記憶せずに、モニタ５
に画像メモリＢに記憶した合成鳥瞰図画像を描画する際
に、自車両の位置やカメラ１の視野角の画像など加えて
描画してもよい。
【００４０】ｃ）次に、前記画像処理ユニット５等にて
行われる処理を、図６のフローチャートに基づいて説明
する。図６に示す様に、まず、ステップ１００にて、シ
フト位置がバックであるか否かを判定する。ここで肯定
判断されるとステップ１１０に進み、一方否定判断され
るとステップ１９０に進む。
【００４１】尚、シフト位置は、シフト位置検出センサ
（図示せず）からの信号や、他の電子制御装置からの信
号により検出することができる。ステップ１９０では、
以前に描画したカメラ１の視野外の領域の画像を消去
し、即ち、現在のカメラ１の画像（鳥瞰図画像）のみを
表示し、前記ステップ１００に戻る。
【００４２】一方、ステップ１１０では、カメラ１で撮
影した画像の座標変換（前記鳥瞰図変換）を行って、鳥
瞰図画像を作成する。続くステップ１２０では、前記鳥
瞰図画像を画像メモリＡに記憶する。尚、このときに
は、画像メモリＢにも同様な鳥瞰図画像を記憶する。
【００４３】続くステップ１３０では、車速信号及びヨ
ーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣ
で示される車両の動き量（移動量）を求める。続くステ
ップ１４０では、車両の移動量に基づいて、前記画像メ
モリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰
図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの
移動後鳥瞰図画像）を求める。
【００４４】続くステップ１５０では、新たに撮影され
て画像メモリＡに記憶された（時刻Ｔ＋１における）第
２鳥瞰図画像を、画像メモリＡから読み込む。続くステ
ップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像と
を合成して合成鳥瞰図画像を作成する。
【００４５】具体的には、図７に示す様に、新たな（第
２鳥瞰図画像に対応する）カメラ視野の外に、今回の車
両の移動によりカメラ視野外となった部分、即ち、第１
鳥瞰図画像を車両の移動量に対応して移動させて形成し
た移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と
重なる部分は除いたもの）を書き込むようにして、合成
鳥瞰図画像を作成する。
【００４６】尚、同図で車両は参考にために記載したも
のであり、実際には、例えばモニタ画面の描画の際に、
車両を示す枠等を描画する。続くステップ１７０では、
合成鳥瞰図画像を、画像メモリＢに記憶する。続くステ
ップ１８０では、車両を示す画像や視野角を示す画像な
どを加味して、画像メモリＢに記憶した合成鳥瞰図画像
をモニタ５に表示し、一旦本処理を終了する。
【００４７】ｄ）この様に、本実施例では、カメラ１で
撮影した画像を鳥瞰図画像に変換し、車両信号に基づい
て車両の移動量を検出し、その車両の移動量に応じて鳥
瞰図画像を移動させて移動後鳥瞰図画像を作成してい
る。そして、移動後鳥瞰図画像と新たに読み込んだ鳥瞰
図画像とを合成して合成鳥瞰図画像を作成し、その合成
鳥瞰図画像に自車両及び視野角の画像を加えて、モニタ
５の画面に表示している。
【００４８】つまり、本実施例では、車両が移動する際
にカメラ視野から外れた領域を推定し、合成することに
よって、通常はカメラ視野外となる表示できない部分も
含めて表示することができるので、図８に示す様に、自
車両と駐車枠との位置関係が明瞭に把握できる。そのた
め、バックで駐車する操作などが、極めて容易になると
いう顕著な効果を奏する。
【００４９】尚、前記図８では、車両が駐車枠に対し
て、回転移動した後に後方に直線的に移動する際に、本
実施例の手法によって演算処理されたモニタ３の表示画
面を、（ａ）、（ｂ）、（ｃ）と順を追って示してい
る。特に本実施例では、例えば第１及び第２鳥瞰図画像
の画像の時間的変化から車両の動きを算出して移動後鳥
瞰図画像を作成するのではなく、車速センサ５やヨーレ
イトセンサ７によって得られた車両信号を用いて移動後
鳥瞰図画像を作成するので、その演算処理が容易である
という利点がある。
【００５０】つまり、多くの演算処理が必要な画像のマ
ッチングなどによる画像処理を省略できるので、演算処
理の負担が軽減され、速やかに必要な画像をモニタ３に
表示することができる。よって、マイクロコンピュータ
等の負担が軽減するので、全体として処理速度を高める
ことができる。また、演算処理能力の低いマイクロコン
ピュータでも処理が可能になるので、コストダウンにも
寄与する。
【００５１】尚、本発明は前記実施例になんら限定され
るものではなく、本発明を逸脱しない範囲において種々
の態様で実施しうることはいうまでもない。 （１）例えば前記実施例では、シフト位置をバックで検
出して処理を開始しているが、駐車時の切り返し運転に
よる車両の前進時でも処理するため、車速信号で処理の
開始・継続を決定してもよい。
【００５２】例えば、時速が１０ｋｍ／ｈで処理を開始
し、この間は処理を実行して鳥瞰図画像を表示するなど
である。これにより、切り返しでシフト位置が変化して
も、鳥瞰図画像がリセットされることなく継続して表示
できる。 （２）更に、本発明のその他の応用例として、車両の前
方を撮像するカメラによって、視野外となる車体近傍の
合成鳥瞰図画像を表示し、狭い道などでのすり抜けの可
否を判断する情報を提供することもできる。
【００５３】（３）また、例えば前記実施例では、車両
周辺画像処理装置について述べたが、この装置による処
理を実行させる手段を記憶している記録媒体も、本発明
の範囲である。例えば記録媒体としては、マイクロコン
ピュータとして構成される電子制御装置、マイクロチッ
プ、フロッピィディスク、ハードディスク、光ディスク
等の各種の記録媒体が挙げられる。
【００５４】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【図１】 実施例の車両周辺画像処理装置の主要構成を
示す説明図である。
【図２】 実施例の車両周辺画像処理装置の電気的構成
を示す説明図である。
【図３】 実施例の車両周辺画像処理装置により用いら
れる画像を示し、（ａ）はカメラにより撮影された画像
の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図４】 実施例の車両周辺画像処理装置による座標変
換の際の位置関係を示す説明図である。
【図５】 実施例の車両周辺画像処理装置による車両の
移動量を求めるための手法を示す説明図である。
【図６】 実施例の車両周辺画像処理装置の処理を示す
フローチャートである。
【図７】 実施例の車両周辺画像処理装置のよる画像作
成の手順を示す説明図である。
【図８】 実施例の車両周辺画像処理装置により表示さ
れるモニタ画像を示す説明図である。
【符号の説明】
１…カメラ ３…車載モニタ（モニタ） ５…車速センサ ７…ヨーレイトセンサ ９…画像処理ユニット
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２８ Ｂ６０Ｒ 21/00 ６２８Ｄ Ｇ０９Ｂ 29/00 Ｇ０９Ｂ 29/00 Ｚ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ 7/18 7/18 Ｊ Ｖ (72)発明者 柳川 博彦 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 (72)発明者 石川 哲理 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 Ｆターム(参考） 2C032 HB05 HC01 HC08 HC23 HD03 5B057 AA16 BA11 CD02 CD03 CD12 CE08 CH01 CH11 5C022 AA04 AB65 AC13 5C054 AA01 CA04 CC02 CH02 EA01 EA05 EA07 EB05 EF06 EH07 FC15 FD03 FE13 FE24 FF07 GA04 GB11 GB16 GD04 GD05 GD06 HA30

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 車両周辺の画像を撮影する撮影手段と、
    画像を表示する表示手段とを備えた車両に対して、前記
    撮影手段により撮影された画像を処理して前記表示手段
    に表示する車両周辺画像処理装置において、 前記撮影手段により撮影した画像に基づいて、その鳥瞰
    図画像を作成する鳥瞰図画像作成手段と、 前記車両の動き量を、前記車両から得られる車両信号に
    基づいて検出する車両動き量検出手段と、 前記車両動き量検出手段により検出した車両の動き量に
    基づいて、前記鳥瞰図画像作成手段により作成された第
    １鳥瞰図画像を移動させて、移動後鳥瞰図画像を作成す
    る鳥瞰図画像移動手段と、 前記第１鳥瞰図画像より後に撮影されて作成された第２
    鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、前
    記表示手段に表示する合成鳥瞰図画像を作成する合成鳥
    瞰図画像作成手段と、 を備えたことを特徴とする車両周辺画像処理装置。
  2. 【請求項２】 前記合成鳥瞰図画像は、前記第２鳥瞰図
    画像を表示する表示領域以外に、前記移動後鳥瞰図画像
    を加入した画像であることを特徴とする前記請求項１に
    記載の車両周辺画像処理装置。
  3. 【請求項３】 前記合成鳥瞰図画像に用いる第２鳥瞰図
    画像として、最新の鳥瞰図画像を用いることを特徴とす
    る前記請求項１又は２に記載の車両周辺画像処理装置。
  4. 【請求項４】 前記鳥瞰図画像作成手段により作成され
    た鳥瞰図画像を記憶するメモリＡと、 前記合成鳥瞰図画像作成手段により作成された合成鳥瞰
    図画像を記憶するメモリＢと、 を備えたことを特徴とする前記請求項１〜３のいずれか
    に記載の車両周辺画像処理装置。
  5. 【請求項５】 前記メモリＢに記憶された合成鳥瞰図画
    像を、前記表示手段に表示することを特徴とする前記請
    求項４に記載の車両周辺画像処理装置。
  6. 【請求項６】 前記表示手段に前記合成鳥瞰図画像を表
    示する場合には、自車両を示す画像を加えて表示するこ
    とを特徴とする前記請求項１〜５のいずれかに記載の車
    両周辺画像処理装置。
  7. 【請求項７】 前記請求項１〜６のいずれかに記載の車
    両周辺画像処理装置による処理を実行させる手段を記憶
    していることを特徴とする記録媒体。
JP2001178776A 2001-06-13 2001-06-13 車両周辺画像処理装置及び記録媒体 Expired - Fee Related JP4156214B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001178776A JP4156214B2 (ja) 2001-06-13 2001-06-13 車両周辺画像処理装置及び記録媒体
KR1020037002069A KR100550299B1 (ko) 2001-06-13 2002-03-15 차량 주변 이미지 처리 장치 및 기록 매체
PCT/JP2002/002525 WO2002104032A1 (fr) 2001-06-13 2002-03-15 Processeur d'images peripheriques pour vehicule et support d'enregistrement
US10/333,745 US7317813B2 (en) 2001-06-13 2002-03-15 Vehicle vicinity image-processing apparatus and recording medium
DE10292327T DE10292327B4 (de) 2001-06-13 2002-03-15 Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
CNB028029828A CN1210958C (zh) 2001-06-13 2002-03-15 车辆附近图像处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001178776A JP4156214B2 (ja) 2001-06-13 2001-06-13 車両周辺画像処理装置及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006132441A Division JP2006252577A (ja) 2006-05-11 2006-05-11 地図データ生成装置

Publications (2)

Publication Number Publication Date
JP2002373327A true JP2002373327A (ja) 2002-12-26
JP4156214B2 JP4156214B2 (ja) 2008-09-24

Family

ID=19019425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001178776A Expired - Fee Related JP4156214B2 (ja) 2001-06-13 2001-06-13 車両周辺画像処理装置及び記録媒体

Country Status (6)

Country Link
US (1) US7317813B2 (ja)
JP (1) JP4156214B2 (ja)
KR (1) KR100550299B1 (ja)
CN (1) CN1210958C (ja)
DE (1) DE10292327B4 (ja)
WO (1) WO2002104032A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151370A (ja) * 2004-10-28 2006-06-15 Denso Corp 車両周囲視界支援システム
EP1862375A2 (en) 2006-05-29 2007-12-05 Aisin Aw Co., Ltd. Parking assist method and parking assist device
US20090092334A1 (en) * 2003-08-09 2009-04-09 Doubleshot, Inc. Birds eye view virtual imaging for real time composited wide field of view
US8078356B2 (en) 2006-05-31 2011-12-13 Aisin Aw Co., Ltd. Driving assist method and driving assist apparatus
WO2013175684A1 (ja) 2012-05-23 2013-11-28 株式会社デンソー 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体、車両の周囲の画像をトップビュー変換して表示させる画像処理方法
WO2014006793A1 (ja) 2012-07-04 2014-01-09 株式会社デンソー 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体
CN104854640A (zh) * 2012-12-05 2015-08-19 戴姆勒股份公司 探测并显示用于车辆的停车位的车辆侧方法和车辆侧设备
KR20150123094A (ko) * 2014-04-24 2015-11-03 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
CN106031166A (zh) * 2014-02-12 2016-10-12 株式会社电装 车辆周边图像显示装置和车辆周边图像显示方法
CN106063258A (zh) * 2014-03-05 2016-10-26 株式会社电装 车辆周边图像显示装置、车辆周边图像显示方法
JP2017034544A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 表示制御装置及び表示制御プログラム
CN108025674A (zh) * 2015-09-10 2018-05-11 罗伯特·博世有限公司 用于示出车辆的车辆环境的方法和设备
WO2019142660A1 (ja) * 2018-01-19 2019-07-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US10427603B2 (en) 2015-12-18 2019-10-01 Denso Corporation Display control device and display control method
DE112018005391T5 (de) 2017-11-10 2020-06-25 Denso Corporation Anzeigeverarbeitungsvorrichtung
DE112016001238B4 (de) 2015-03-17 2022-06-09 Denso Corporation Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und fahrzeugumgebungsbildanzeigesteuerungsprogramm

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729831B2 (en) 1999-07-30 2010-06-01 Oshkosh Corporation Concrete placement vehicle control system and method
US7107129B2 (en) 2002-02-28 2006-09-12 Oshkosh Truck Corporation Turret positioning system and method for a fire fighting vehicle
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
US7277782B2 (en) 2001-01-31 2007-10-02 Oshkosh Truck Corporation Control system and method for electric vehicle
US7392122B2 (en) 2002-06-13 2008-06-24 Oshkosh Truck Corporation Steering control system and method
US7412307B2 (en) * 2002-08-02 2008-08-12 Oshkosh Truck Corporation Refuse vehicle control system and method
JP3879696B2 (ja) * 2003-04-25 2007-02-14 日産自動車株式会社 運転支援装置
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP4380550B2 (ja) * 2004-03-31 2009-12-09 株式会社デンソー 車載用撮影装置
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
JP4809019B2 (ja) * 2005-08-31 2011-11-02 クラリオン株式会社 車両用障害物検出装置
TW200829466A (en) * 2007-01-03 2008-07-16 Delta Electronics Inc Advanced bird view visual system
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
JP4321543B2 (ja) 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
WO2007129582A1 (ja) * 2006-05-09 2007-11-15 Nissan Motor Co., Ltd. 車両周辺画像提供装置及び車両周辺画像提供方法
CN101449194B (zh) 2006-06-20 2012-06-13 数据逻辑扫描公司 具有多个像场的成像扫描仪
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
TW200829464A (en) * 2007-01-03 2008-07-16 Delta Electronics Inc Bird view visual system with fish eye improvement and method thereof
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
EP3480057B1 (en) 2007-04-30 2022-07-06 Mobileye Vision Technologies Ltd. Rear obstruction detection
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP5088074B2 (ja) * 2007-10-01 2012-12-05 日産自動車株式会社 駐車支援装置及び方法
WO2009057410A1 (ja) * 2007-10-30 2009-05-07 Nec Corporation 路面標示画像処理装置，路面標示画像処理方法及びプログラム
EP2248069B1 (en) 2008-02-12 2013-08-28 Datalogic ADC, Inc. Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives
US8678287B2 (en) * 2008-02-12 2014-03-25 Datalogic ADC, Inc. Two-plane optical code reader for acquisition of multiple views of an object
DE102008046214A1 (de) 2008-09-08 2009-04-30 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008046544A1 (de) 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
EP2179892A1 (de) 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US8322621B2 (en) 2008-12-26 2012-12-04 Datalogic ADC, Inc. Image-based code reader for acquisition of multiple views of an object and methods for employing same
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US8732592B2 (en) * 2009-06-08 2014-05-20 Battelle Energy Alliance, Llc Methods and systems relating to an augmented virtuality environment
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
JP4952765B2 (ja) * 2009-10-21 2012-06-13 トヨタ自動車株式会社 車両用夜間視界支援装置
WO2011047732A1 (en) * 2009-10-22 2011-04-28 Tele Atlas B.V. Method for identifying moving foreground objects in an orthorectified photographic image
US9230300B2 (en) 2009-10-22 2016-01-05 Tim Bekaert Method for creating a mosaic image using masks
US20110169957A1 (en) * 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP2011257940A (ja) * 2010-06-08 2011-12-22 Panasonic Corp 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
CN101976429B (zh) * 2010-10-27 2012-11-14 南京大学 基于游弋图像的水面鸟瞰图成像方法
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
BR112014002366B1 (pt) * 2011-09-12 2021-10-05 Nissan Motor Co., Ltd Dispositivo e método de detecção de objeto tridimensional
JP5858045B2 (ja) * 2011-09-13 2016-02-10 トヨタ自動車株式会社 車載カメラの光軸把握装置
MX339625B (es) * 2012-02-23 2016-06-02 Nissan Motor Dispositivo de deteccion de objetos tridimensionales.
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
JP2014089513A (ja) * 2012-10-29 2014-05-15 Denso Corp 画像生成装置、および画像生成プログラム
US9715633B2 (en) * 2012-11-27 2017-07-25 Clarion Co., Ltd. Vehicle-mounted image processing device
JP6024581B2 (ja) * 2013-04-15 2016-11-16 株式会社デンソー 車両用画像処理装置
DE102013010233B4 (de) * 2013-06-18 2018-08-30 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
US9845191B2 (en) 2013-08-02 2017-12-19 Oshkosh Corporation Ejector track for refuse vehicle
KR20150019192A (ko) * 2013-08-13 2015-02-25 현대모비스 주식회사 Avm 시스템을 위한 영상 합성 장치 및 그 방법
DE102013217699A1 (de) * 2013-09-05 2015-03-05 Robert Bosch Gmbh Verfahren zum Manövrieren eines Fahrzeuges
KR102175961B1 (ko) * 2013-11-29 2020-11-09 현대모비스 주식회사 차량 후방 주차 가이드 장치
KR101572065B1 (ko) * 2014-01-03 2015-11-25 현대모비스(주) 영상 왜곡 보정 방법 및 이를 위한 장치
US9825706B2 (en) 2014-02-28 2017-11-21 United Technologies Corporation Support system for fiber optic components in harsh environment machines
DE102014204872B4 (de) 2014-03-17 2018-03-22 Volkswagen Aktiengesellschaft Verfahren und Anzeigesystem zum Anzeigen von Umgebungsinformationen eines Fahrzeugs
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR101611194B1 (ko) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR102176773B1 (ko) * 2014-06-11 2020-11-09 현대모비스 주식회사 자동차의 주차시스템
DE102014223941A1 (de) * 2014-11-25 2016-05-25 Robert Bosch Gmbh Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten
CN104811663B (zh) * 2015-04-17 2018-09-04 浙江吉利汽车研究院有限公司 车辆的图像处理方法及处理装置
JP6493143B2 (ja) 2015-10-15 2019-04-03 株式会社デンソー 表示制御装置及び表示制御プログラム
CN106608220B (zh) * 2015-10-22 2019-06-25 比亚迪股份有限公司 车辆底部影像的生成方法、装置和车辆
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
JP6512145B2 (ja) 2016-03-22 2019-05-15 株式会社デンソー 画像処理装置、画像処理方法、及びプログラム
CN105763854B (zh) * 2016-04-18 2019-01-08 扬州航盛科技有限公司 一种基于单目摄像头的全景成像系统及其成像方法
CN105898228B (zh) * 2016-04-29 2019-07-09 北京小米移动软件有限公司 用于摄像设备的控制方法及装置
GB2553143A (en) * 2016-08-26 2018-02-28 Jaguar Land Rover Ltd A Vehicle camera system
US10594934B2 (en) 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
KR101911926B1 (ko) * 2016-11-25 2019-01-03 주식회사 와이즈오토모티브 주차 보조 장치 및 방법
CN106846243A (zh) * 2016-12-26 2017-06-13 深圳中科龙智汽车科技有限公司 在设备移动过程中获得三维俯视全景图的方法及装置
JP6901000B2 (ja) * 2017-07-07 2021-07-14 日産自動車株式会社 駐車支援方法及び駐車支援装置
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
US10744941B2 (en) 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display
KR102103418B1 (ko) * 2018-04-06 2020-04-23 주식회사 와이즈오토모티브 조감도 이미지 생성 장치 및 방법
CN112218988B (zh) * 2018-07-31 2023-06-09 住友建机株式会社 挖土机
DE102018214874B3 (de) 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
US10922881B2 (en) * 2018-11-02 2021-02-16 Star Global Expert Solutions Joint Stock Company Three dimensional/360 degree (3D/360°) real-time full information smart management integrated mapping system (SMIMS) and process of generating the same
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
EP3979632A1 (en) * 2020-10-05 2022-04-06 Continental Automotive GmbH Motor vehicle environment display system and method
CN114185450A (zh) * 2021-10-18 2022-03-15 北京鸿合爱学教育科技有限公司 鸟瞰图处理方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH0848198A (ja) * 1994-08-08 1996-02-20 Nissan Motor Co Ltd 車両用周囲モニタ装置
JPH10175482A (ja) * 1996-10-15 1998-06-30 Isuzu Motors Ltd 車両後方視界支援装置
JPH10211849A (ja) * 1997-01-30 1998-08-11 Isuzu Motors Ltd 車両後方視界支援装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2001010432A (ja) * 1999-04-28 2001-01-16 Matsushita Electric Ind Co Ltd 駐車支援装置と駐車支援方法
JP2001088609A (ja) * 1999-09-22 2001-04-03 Fuji Heavy Ind Ltd 車載カメラの電源制御方法ならびに装置
JP2001095017A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車載カメラの検査方法ならびに装置
JP2001114047A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車両周囲状況提示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
JPH09193710A (ja) * 1996-01-24 1997-07-29 Matsushita Electric Ind Co Ltd カメラシステム表示装置
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
DE60003750T2 (de) * 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Einparkhilfe-Assistenz-Vorrichtung
US6515597B1 (en) * 2000-01-31 2003-02-04 Matsushita Electric Industrial Co. Ltd. Vicinity display for car
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
EP1158803A3 (en) * 2000-05-24 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH0848198A (ja) * 1994-08-08 1996-02-20 Nissan Motor Co Ltd 車両用周囲モニタ装置
JPH10175482A (ja) * 1996-10-15 1998-06-30 Isuzu Motors Ltd 車両後方視界支援装置
JPH10211849A (ja) * 1997-01-30 1998-08-11 Isuzu Motors Ltd 車両後方視界支援装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2001010432A (ja) * 1999-04-28 2001-01-16 Matsushita Electric Ind Co Ltd 駐車支援装置と駐車支援方法
JP2001088609A (ja) * 1999-09-22 2001-04-03 Fuji Heavy Ind Ltd 車載カメラの電源制御方法ならびに装置
JP2001095017A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車載カメラの検査方法ならびに装置
JP2001114047A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車両周囲状況提示装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090092334A1 (en) * 2003-08-09 2009-04-09 Doubleshot, Inc. Birds eye view virtual imaging for real time composited wide field of view
US8295644B2 (en) * 2003-08-09 2012-10-23 Doubleshot, Inc. Birds eye view virtual imaging for real time composited wide field of view
JP2006151370A (ja) * 2004-10-28 2006-06-15 Denso Corp 車両周囲視界支援システム
JP4724522B2 (ja) * 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
EP1862375A2 (en) 2006-05-29 2007-12-05 Aisin Aw Co., Ltd. Parking assist method and parking assist device
US7969326B2 (en) 2006-05-29 2011-06-28 Aisin Aw Co., Ltd. Parking assist method and parking assist apparatus
US8078356B2 (en) 2006-05-31 2011-12-13 Aisin Aw Co., Ltd. Driving assist method and driving assist apparatus
WO2013175684A1 (ja) 2012-05-23 2013-11-28 株式会社デンソー 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体、車両の周囲の画像をトップビュー変換して表示させる画像処理方法
JP2013246493A (ja) * 2012-05-23 2013-12-09 Denso Corp 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
WO2014006793A1 (ja) 2012-07-04 2014-01-09 株式会社デンソー 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体
CN104854640A (zh) * 2012-12-05 2015-08-19 戴姆勒股份公司 探测并显示用于车辆的停车位的车辆侧方法和车辆侧设备
CN106031166A (zh) * 2014-02-12 2016-10-12 株式会社电装 车辆周边图像显示装置和车辆周边图像显示方法
CN106031166B (zh) * 2014-02-12 2018-12-25 株式会社电装 车辆周边图像显示装置和车辆周边图像显示方法
CN106063258A (zh) * 2014-03-05 2016-10-26 株式会社电装 车辆周边图像显示装置、车辆周边图像显示方法
CN106063258B (zh) * 2014-03-05 2018-12-25 株式会社电装 车辆周边图像显示装置、车辆周边图像显示方法
KR20150123094A (ko) * 2014-04-24 2015-11-03 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
KR102159353B1 (ko) 2014-04-24 2020-09-23 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
DE112016001238B4 (de) 2015-03-17 2022-06-09 Denso Corporation Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und fahrzeugumgebungsbildanzeigesteuerungsprogramm
JP2017034544A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 表示制御装置及び表示制御プログラム
WO2017022457A1 (ja) * 2015-08-04 2017-02-09 株式会社デンソー 表示制御装置、表示制御方法、及び表示制御プログラム
CN108025674A (zh) * 2015-09-10 2018-05-11 罗伯特·博世有限公司 用于示出车辆的车辆环境的方法和设备
US10427603B2 (en) 2015-12-18 2019-10-01 Denso Corporation Display control device and display control method
DE112018005391T5 (de) 2017-11-10 2020-06-25 Denso Corporation Anzeigeverarbeitungsvorrichtung
WO2019142660A1 (ja) * 2018-01-19 2019-07-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
DE10292327T5 (de) 2004-09-23
CN1473433A (zh) 2004-02-04
KR20030024857A (ko) 2003-03-26
US7317813B2 (en) 2008-01-08
DE10292327B4 (de) 2009-06-04
CN1210958C (zh) 2005-07-13
WO2002104032A1 (fr) 2002-12-27
US20030165255A1 (en) 2003-09-04
JP4156214B2 (ja) 2008-09-24
KR100550299B1 (ko) 2006-02-08

Similar Documents

Publication Publication Date Title
JP2002373327A (ja) 車両周辺画像処理装置及び記録媒体
JP3778849B2 (ja) 車両周辺画像処理装置及び記録媒体
JP5182042B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US8553081B2 (en) Apparatus and method for displaying an image of vehicle surroundings
JP4067424B2 (ja) 車両周辺画像処理装置及びプログラム並びに記録媒体
US20110210868A1 (en) Parking assistance apparatus
JP2003191810A (ja) 車両周辺監視システム及び車両移動状態検出装置
JP5914114B2 (ja) 駐車支援装置、及び駐車支援方法
JP4071463B2 (ja) 車両周辺画像処理装置
JP3796417B2 (ja) 車両周辺画像処理装置及び記録媒体
JP2002087160A (ja) 車両周辺画像処理装置及び記録媒体
JP2004252837A (ja) 車両周辺表示装置および車両周辺表示プログラム
JP3900415B2 (ja) 車両周辺画像処理装置，プログラム及び記録媒体
JP2006252577A (ja) 地図データ生成装置
JP2016091250A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
WO2016047037A1 (ja) 車両用画像処理装置
JP3850271B2 (ja) 車両周辺画像処理装置及び記録媒体
JP2012046124A (ja) 画像表示システム、画像処理装置、および、画像表示方法
JP3813085B2 (ja) 車両周辺画像処理装置及び記録媒体
JP2011118485A (ja) 方向転換支援装置及び方法
JP2001341600A (ja) 駐車支援装置
CN112449625B (zh) 在挂车组合的调度操作中辅助的方法、系统和挂车组合
JP4637408B2 (ja) 車両周辺画像処理装置及び記録媒体
JP4557712B2 (ja) 運転支援システム
CN112801874B (zh) 一种车辆图像拼接方法、装置和车辆

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070301

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4156214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees