JP2002359838A - 運転支援装置 - Google Patents

運転支援装置

Info

Publication number
JP2002359838A
JP2002359838A JP2001244275A JP2001244275A JP2002359838A JP 2002359838 A JP2002359838 A JP 2002359838A JP 2001244275 A JP2001244275 A JP 2001244275A JP 2001244275 A JP2001244275 A JP 2001244275A JP 2002359838 A JP2002359838 A JP 2002359838A
Authority
JP
Japan
Prior art keywords
image
road surface
converted
distance
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001244275A
Other languages
English (en)
Other versions
JP4861574B2 (ja
Inventor
Hiroshi Ishii
浩史 石井
Kazufumi Mizusawa
和史 水澤
Takeshi Okada
毅 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001244275A priority Critical patent/JP4861574B2/ja
Priority to DE10296593.5T priority patent/DE10296593B4/de
Priority to PCT/JP2002/001933 priority patent/WO2002080557A1/ja
Priority to US10/472,919 priority patent/US7218758B2/en
Publication of JP2002359838A publication Critical patent/JP2002359838A/ja
Application granted granted Critical
Publication of JP4861574B2 publication Critical patent/JP4861574B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

(57)【要約】 【課題】 運転者が障害物の周囲状況を直感的にかつよ
り正確に確認でき、運転者の負担を軽減することができ
る運転支援装置を提供する。 【解決手段】 移動体に設置された複数の撮像手段100
1、3001と、撮像手段3001で撮像された画像を、路面モ
デルを基に撮像手段1001、3001の位置より上方の仮想視
点または上方から直交投影の画像に変換する変換手段30
08と、複数の撮像手段1001、3001の撮像画像間の視差を
基に路面以外の３次元情報を検出する３Ｄマップ作成手
段3007と、前記検出された３次元情報を基に前記視点変
換された画像中の像の歪みを補正する３Ｄ画像合成手段
3008と、前記歪み補正された画像を表示する表示手段30
09とを具備する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、車両の運転に関し
て、車両周辺の状況を車両に取り付けられた撮像手段で
撮像し、車両内に表示することによって、運転を支援す
る運転支援装置に係わり、撮像手段で撮像した画像か
ら、車両の周囲の傷害物との距離を、画面上で把握しや
すく画像を合成し、運転者に表示することによって、運
転を支援する運転支援装置に関するものである。
【０００２】
【従来の技術】従来の車両に取り付けられた撮像手段を
用いた運転支援装置において、車両と周囲との距離を画
面上で把握しやすくするための方法として、合成画像の
視点位置を変更する技術がある。これは例えば特開昭58
-110334号公報に開示されている。この従来装置の場
合、車両の周囲の撮像画像が３次元的に地面を写してい
ると仮定して、例えば上空から見下ろしたような新しい
視点からの合成画像を作成している。その場合、車両と
他の物体との距離は画面上の距離に比例することになる
ので、直感的に距離が把握しやすくなる。なお、このよ
うな運転支援装置は、移動体画像表示システムと呼ばれ
ることもあるが、本明細書では運転支援装置ということ
にする。
【０００３】まず、図３１を用いて、前記従来例の動作
を説明する。図３１(a)は実際の撮像手段と仮想視点と
路面の位置関係を説明するための概略図である。この図
において、車両に取り付けられた撮像手段1001は、車両
後方の主に路面を下向きの角度で撮像している。ここで
撮像手段1001の画像のある画素の方向1002が３次元的路
面の点1003を写していると仮定すると、上空の仮想の視
点（仮想カメラ）1004で見た場合の位置は、仮想カメラ
1004の画像の画面中の1005の方向の画素に対応すること
が判る。図３１(b)は、実際の駐車場での車両と後方カ
メラと駐車場の周囲の状況を示したものである。撮像手
段1001は、駐車場内の視野範囲1006の画像を撮像する。
ここでは特に前記ある画素の方向1002は、路面上の白線
のコーナーの点1003を写している。図３１(c)は、実際
に撮像手段1001から得られる画像である。路面上の白線
のコーナーの点1003は、上空の仮想の視点1004で見た方
向1005の画素に対応するように位置を変換され合成され
る。図３１(d)は合成された画像である。この図におい
て、点1003は路面上に位置するので、車両からの相対位
置関係が正確に再現される。また他の駐車区画の白線も
すべて路面上に位置するので、合成画像上で車両からの
相対位置関係が正確に再現される。
【０００４】運転者はこの合成画像を見ることによっ
て、車両と周囲の関係を正確に把握することができる。
【０００５】しかしながら、この従来技術は次のような
課題を有している。図３２を用いて、その従来例の課題
を説明する。
【０００６】図３２(a)は、前述の図３１(a)の場合にお
いて、路面以外に位置する物体、例えば車のバンパーな
どが映る場合について説明するものである。この場合撮
像手段1001から方向1002に撮像される点は、３次元的に
路面より上に位置する点（車のバンパー）2001となって
いる。しかしながら、仮想の視点1004から合成する場合
は路面を仮定しているので、方向1002を延長して路面に
接する点2002上に存在するものとして画像合成が行われ
る。
【０００７】図３２(b)は、実際の車両と後方カメラ
と、後方の車両のバンパーの位置の点2001を示したもの
である。図３２(c)は、撮像手段1001の撮像画像であ
る。撮像画像上では、バンパーの位置の点2001と、その
方向1002を延長して路面に接する点2002は、当然同一点
上に重なって見える。しかしながら、図３２(d)に示さ
れている合成画像では、点2002は点2001より遠方に合成
される。さらに後方の車両の他の部分も2003に示されて
いるように路面に接触しているタイヤの部分以外は、実
際よりも遠方に存在するように合成され、大きく歪んだ
ものとなる。
【０００８】
【発明が解決しようとする課題】このように、従来の技
術では、視点変換に地面しか仮定していないため、実際
に３次元的に地面に位置しないもの、例えば他の車両や
障害物が、合成画像上で歪んでしまう。
【０００９】さらに、運転支援装置としてこれを利用す
るとき、他の車のバンパーなどが実際よりも遠くに位置
するように表示されてしまうために、この画像を見て十
分な距離があると認識して運転すると、実際の障害物に
は距離が十分ではなく、その結果接触しやすくなる。こ
のため、上述の位置ずれおよび画像の歪みを除去するこ
とが実用上の大きな課題である。
【００１０】このような上方からの視点変換画像の歪み
の対策としては、特開平7-186833号公報に開示されてい
る例がある。この例では、画面全体で同一色の抽出を行
い、その領域の膨張と収縮により道路面と非道路面領域
とを分離し、道路面については上方からの変換画像を合
成し、非道路面については、その領域の入力画像を視点
変換は行わずに拡大縮小のみを行い、前記変換画像上に
貼り付けるという作業を行う。このため、道路より上に
位置する障害物も歪むことなく画像の合成ができる。
【００１１】しかしながら、この例では、以下の（１）
〜（３）に記載したような課題が残る。
【００１２】（１）色情報により道路、非道路領域の分
離を行うため、道路面でテクスチャの大きく変わる部分
や、ビルなど道路とよく似た色をした部分などでは、分
離が不正確になってしまう。
【００１３】（２）バンパーなど地面から離れた障害物
は、やはり実際よりも遠方まで道路であるように合成さ
れる。
【００１４】（３）道路面は上方の視点からの画像に変
換され、障害物は入力画像のままなので、合成画像が不
自然であり、運転者が周囲情報を直感的に把握し易いと
は限らない。
【００１５】また、この例の（１）の課題について、ス
テレオ画像を用いて道路面と非道路面を分離する技術が
特開平7-334679号公報に開示されている。この例では、
左右のカメラからの画像を道路面上に投影した位置で一
致するように関連づけ、この２つの画像信号が閾値内で
類似する部分を道路領域とし、それ以外を非道路領域と
して分離するというものである。
【００１６】ただしこの例によっても、以下の（１）〜
（３）に記載した課題が残る。 （１）バンパーなど地面から離れた障害物は、やはり実
際よりも遠方まで道路であるように認識される。
【００１７】（２）左右配置のステレオカメラのため垂
直エッジの部分は認識しやすいが、エッジの無い部分
や、水平エッジの部分は認識ができない。特にバンパー
など地面から離れた障害物の道路との境界は、画面上水
平エッジとなりやすい。
【００１８】（３）この例の中では上方からの視点変換
については述べられていないが、障害物の変換画像上で
の歪み補正については効果がない。
【００１９】本発明は、このような従来の運転支援装置
が有する課題を解決するためになされたもので、その目
的は、運転者が障害物の周囲状況を直感的に、かつ、よ
り正確に確認でき、運転者の負担を軽減することができ
る運転支援装置を提供することにある。
【００２０】
【課題を解決するための手段】本発明の運転支援装置
は、移動体に設置された撮像手段と、前記撮像手段で撮
像された１つ以上の画像を、路面モデルを基に前記撮像
手段より上方の仮想視点で見た画像または上方から直交
投影した画像に変換する変換手段と、前記撮像手段の撮
像画像間の視差を基に路面以外の３次元情報を検出する
検出手段と、前記検出された３次元情報を基に前記視点
変換された画像中の像の歪みを補正する歪み補正手段
と、前記歪み補正された画像を表示する表示手段とを備
えたことを特徴とする。この構成により、撮像手段の撮
像画像間の視差を基に路面以外の３次元情報を検出し、
その３次元情報を基に、前記変換された画像の歪みを補
正し、その補正された画像を表示することとなる。
【００２１】また、本発明の運転支援装置は、移動体に
設置された撮像手段と、前記撮像手段で撮像された１つ
以上の画像を、路面モデルを基に前記撮像手段の位置よ
り上方の仮想視点で見た画像または上方から直交投影し
た画像に変換する変換手段と、前記撮像手段の撮像画像
間の視差が路面モデル上の視差と一致しない領域を障害
物領域として検出する障害物領域検出手段とを備えたこ
とを特徴とする。この構成により、撮像手段の撮像画像
間の視差と路面モデルの視差とを用いて路面以外の領域
を障害物領域として検出することとなる。
【００２２】さらに、本発明の運転支援装置は、移動体
に設置された撮像手段と、前記撮像手段で撮像された１
つ以上の画像を、路面モデルを基に前記撮像手段の位置
より上方の仮想視点で見た画像または上方から直交投影
した画像に変換する変換手段と、前記変換された画像間
で一致しない領域を障害物領域として検出する障害物領
域検出手段と、前記変換された画像中に前記障害物領域
をオーバーレイ合成するオーバーレイ手段と、前記合成
された画像を表示する表示手段とを備えたことを特徴と
する。この構成により、変換された画像の間で一致しな
い領域を障害物領域として検出し、その障害物領域を示
す信号を前記変換された画像中にオーバーレイ合成し、
表示することとなる。
【００２３】そして、本発明の運転支援装置は、移動体
に設置された撮像手段と、前記撮像手段で撮像された１
つ以上の画像を、路面モデルを基に前記撮像手段からの
距離と角度とを座標とした中間画像に変換する中間画像
変換手段と、前記変換された画像間で一致しない領域を
検出し、さらに前記領域内の２つの画像を比較して、実
際の距離を推定し、この推定された距離を用いて前記変
換された画像中の前記領域の距離位置を修正し、この修
正された領域を障害物領域として出力する障害物領域検
出手段と、前記変換された画像に前記障害物領域をオー
バーレイ合成するオーバーレイ手段と、前記合成された
画像を路面の通常座標画像に変換する変換手段と、前記
変換された画像を表示する表示手段とを備えたことを特
徴とする。この構成により、撮像手段からの距離と角度
とを座標とした中間画像間における一致しない領域の実
際の距離を推定して位置を修正し、その修正された領域
を障害物領域として検出し、その障害物領域を示す信号
を中間画像中に合成し、この合成画像を通常座標画像に
変換し、表示することとなる。
【００２４】また、本発明の運転支援装置は、移動体に
設置された撮像手段と、前記撮像手段で撮像された画像
を、路面モデルを基に前記撮像手段の位置より上方の仮
想視点で見た画像または上方から直交投影した画像に変
換する変換手段と、前記変換された画像を表示する表示
手段とを備えた運転支援装置であって、前記変換手段に
おいて、前記撮像手段の画面の各画素の路面モデル上の
面積および路面への角度を基に強度を求め、この強度を
基に画素の明るさおよび色づけに変化を持たせることを
特徴とする。この構成により、撮像手段の画面の各画素
の路面モデル上の面積および路面への角度を基に画素の
明るさおよび色づけを変化させることとなる。
【００２５】さらに、本発明の運転支援装置は、移動体
に設置された撮像手段と、前記撮像手段で撮像された１
つ以上の画像を、路面モデルおよび円筒モデルを基に前
記撮像手段からの距離または高さおよび角度を座標とし
た中間画像に変換する中間画像変換手段と、前記変換さ
れた画像間で一致しない領域を検出し、さらに前記領域
内の２つの画像を比較して、実際の距離を推定し、この
推定された距離を用いて前記変換された画像中の前記領
域の距離位置を修正し、この修正された領域を障害物領
域として出力する障害物領域検出手段と、前記変換され
た画像に前記障害物領域をオーバーレイ合成するオーバ
ーレイ手段と、前記合成された画像を路面の通常座標画
像に変換する変換手段と、前記変換された画像を表示す
る表示手段とを備えたことを特徴とする。この構成によ
り、撮像手段からの距離または高さおよび角度を座標と
した中間画像における一致しない領域の実際の距離を推
定して位置を修正し、その修正された領域を障害物領域
として検出し、その障害物領域を示す信号を中間画像中
に合成し、この合成画像を通常座標画像に変換し、表示
することとなる。
【００２６】そして、本発明の運転支援装置は、移動体
に設置された複数の撮像手段と、前記撮像手段で撮像さ
れた画像を、前記撮像手段間を結ぶ直線を軸とした軸対
称な面を投影面とした中間画像に変換する中間画像変換
手段と、前記変換された画像間で一致しない領域を検出
し、さらに前記領域内の２つの画像を比較して、実際の
距離を推定し、この推定された距離を用いて前記変換さ
れた画像中の前記領域の距離位置を修正し、この修正さ
れた領域を障害物領域として出力する障害物領域検出手
段と、前記変換された画像に前記障害物領域をオーバー
レイ合成するオーバーレイ手段と、前記合成された画像
を路面の通常座標画像に変換する変換手段と、前記変換
された画像を表示する表示手段とを備えたことを特徴と
する。この構成により、撮像手段間を結ぶ直線を軸とし
た軸対称な面を投影面とした中間画像における一致しな
い領域の実際の距離を推定して位置を修正し、その修正
された領域を障害物領域として検出し、その障害物領域
を示す信号を中間画像中に合成し、この合成画像を通常
座標画像に変換し、表示することとなる。
【００２７】また、本発明の運転支援装置は、移動体に
設置された撮像手段と、前記撮像手段で撮像された画像
を前記撮像手段の位置とは異なる仮想視点で見た視点変
換画像に変換する変換手段と、前記変換手段により変換
された画像を表示する表示手段とを備え、前記撮像手段
は、所定の視差を有する複数の画像を撮像し、前記表示
手段は前記視差に基づいて補正された画像を表示するこ
とを特徴とする。この構成により、複数の撮像画像の視
差に基づいて視点変換画像を補正し、表示することとな
る。
【００２８】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。
【００２９】（第１の実施の形態）本発明の第１の実施
の形態の運転支援装置は、移動体に設置された撮像手段
で撮像された画像を上方の仮想視点からの画像に変換
し、かつ複数の撮像手段で撮像された画像間の視差を基
に路面以外の３次元情報を検出し、その３次元情報を基
に前記変換された画像の歪みを補正し、その補正された
画像を表示することにより、運転者が車両周囲の障害物
の位置関係と周囲状況を直感的かつ正確に確認できるよ
うにしたものである。
【００３０】図１は、本発明の第１の実施の形態の運転
支援装置のブロック図であり、図２〜図６は、その運転
支援装置の動作を説明するための概略図である。
【００３１】図１に示されているように、本発明の第１
の実施の形態の運転支援装置は、２つの撮像手段1001、
3001と、それぞれ撮像手段1001、3001で撮像された画像
の水平エッジを抽出する水平エッジ抽出手段3002、3003
と、水平エッジ抽出手段3002の出力を用いて視差探索の
ためのブロックの設定を行うブロック設定手段3004と、
水平エッジ抽出手段3003の出力と、ブロック設定手段30
04の出力と、後述するデフォルト視差データ3010とを基
にブロックの探索を行う探索手段3005と、探索手段3005
の出力から、各ブロックについてサブピクセル精度の視
差と信頼性判定結果を出力するサブピクセル推定・信頼
性判定手段3006と、サブピクセル推定・信頼性判定手段
3006の出力と、デフォルト視差データ3010と、後述する
路面データ3011とを基に撮像手段3001からの画像画面上
に３Ｄマップを作成する３Ｄマップ作成手段3007と、撮
像手段3001からの画像とその画面上の３Ｄマップとを基
に、上方の仮想視点からの画像を合成する３Ｄ画像合成
手段3008と、３Ｄ画像合成手段3008の出力を表示する表
示手段3009とを具備する。
【００３２】また、本発明の第１の実施の形態の運転支
援装置は、デフォルト視差データ手段3010と、路面デー
タ手段3011と、車両姿勢情報手段3012とを具備する。
【００３３】２つの撮像手段1001と撮像手段3001は、図
２(a)に示されているような位置に設置されている。こ
こでは地面に垂直な方向の直線4001上に１０ｃｍの間隔
をあけた位置に設置され、それぞれの地面からの高さ
は、１００ｃｍと１１０ｃｍである。それぞれの視線方
向4003は、水平から地面に向かって４０度の角度で下向
きである。２つの撮像手段の視線は平行である。また２
つの撮像手段の視野範囲4002は、垂直方向（仰角方向）
に９０度である。
【００３４】図１に示されているこの２つの撮像手段10
01、3001からの入力画像としては、それぞれ図２(b)、
図２(c)に示されているように、水平方向は殆ど同一で
垂直方向に位置が変化した画像が得られる。撮像手段30
01は撮像手段1001よりも高い位置に配置されているた
め、撮像手段3001からの入力画像では、無限遠方の水平
線4004の画面上の位置は同じだが、より近くに位置する
点（例えば、路面上に位置する白線のある点4005や、車
のバンパー上のある点4006）は画面上、図２(b)の画像
より下に位置する。そして、この垂直方向の位置の変化
は、２つの画像を重ねた図２(d)に示されているよう
に、垂直方向の視差4007や4008となる。ここで4007は路
面上に位置する白線の視差であり、4008は路面より上に
位置する車のバンパーの視差である。
【００３５】図１に示されている水平エッジ抽出手段30
02、3003では、この２つの撮像画像について下記の式
［１］に示されている操作で水平エッジの抽出を行う。
ここで、Ｌは画像の輝度信号、x,yは水平、垂直の画素
位置である。
【００３６】 L'(x,y)=２＊L(x,y)-L(x,y-1)-L(x,y+1) …式［１］
【００３７】この操作により、例えば、図２(b)の画像
は図３(a)のように、画面上水平方向に近いバンパーや
白線のエッジ（4009，4010）が強調され、また画面上垂
直方向に近いエッジ（4011，4012）は弱められる。
【００３８】図１のブロック設定手段3004では、水平エ
ッジ強調手段3002、3003で水平エッジが強調された画像
について、視差探索のためのブロックの設定が行われ
る。図３(b)はそのブロック設定を説明するためのもの
で、垂直方向に２画素おきの走査線4013にしたがって、
式［１］に示したL'(x,y)の極大点と極小点を求め、そ
の点を中心とした縦横５×５画素のブロック4014を設定
する。図３(b)に示されているように、このブロックは
画面の水平エッジ上に重なりを持って複数配置される。
【００３９】次に、図１の路面データ3011に基づいたデ
フォルト視差データ3010について説明する。これは図３
(c)に示されているように、２つの撮像手段1001、3001
が共に路面を写していると仮定したときに生じる視差を
予め計算したものである。図３(c)中、路面上の点4015
の視差は角度で4016と計算される。図３(d)は画面上で
の、このデフォルト視差データを示すものである。無限
遠方の水平線4004の位置のデフォルト視差4017は０であ
るが、それから近づく（画面上、下に下がる）に従っ
て、4018、4019とデフォルト視差は大きくなる。それか
らさらに下がると、今度は撮像手段1001、3001の視線方
向が垂直方向に近くなるので、4020に示されているよう
にデフォルト視差は小さくなる。
【００４０】路面より上に位置する物体は、このデフォ
ルト視差より大きな視差を生じるので、図１の探索手段
3005では、このデフォルト視差を探索の初期値としてさ
らに大きい視差の方向に探索を行う。
【００４１】探索視差の上限は次のようにして決定す
る。図４(a)に示されているように、車両からの距離が
５０ｃｍでかつ地面から垂直な壁4021と、撮像手段100
1、3001の真下から６０度の角度を持つ壁4022とを仮定
したときの視差を概算する。このときの視差4023の画面
中の値を探索視差の上限とする。
【００４２】探索手段3005は、前記探索の初期値から上
限までの間で、ブロック設定手段3004で設定された５×
５画素の信号L'(x+j,y+i)について、撮像手段3001から
の画像信号L3'に対して下記の式［２］に示されている
相関値Ｆが最大となる視差ＤＹを探索する。
【００４３】 Ｆ＝ΣiΣjL'(x+j,y+i)*L3'(x+j,y+i＋ＤＹ) …式［２］ :(i=-2〜2,j=-2〜2)
【００４４】サブピクセル推定・信頼性判定手段3006で
は、さらに前記探索手段3005で求められた視差ＤＹと相
関値について解析する。
【００４５】まず、相関値Ｆと、ブロック信号L'(x+j,y
+i)の自己相関値Ｓ Ｓ＝ΣiΣjL'(x+j,y+i)*L'(x+j,y+i) …式［３］ :(i=-2〜2,j=-2〜2) の比Ｆ/Ｓが閾値が０．７５以上のときは信頼性ありと
判定し、０．７５未満のときは信頼性なしと判定する。
【００４６】信頼性ありと判定されたブロックについて
は、図４(b)に示されているように、１画素単位の視差
ＤＹの周囲の相関値Ｆを用いて２次式で補間した曲線40
24の最大点4025を求め、この位置をサブピクセル精度の
視差ＤＹ’とする。
【００４７】サブピクセル推定・信頼性判定手段3006で
は、各ブロックについてこのサブピクセル精度の視差Ｄ
Ｙ’と信頼性判定結果を出力する。
【００４８】３Ｄマップ作成手段3007では、サブピクセ
ル推定・信頼性判定手段3006の出力である各ブロックに
ついてのサブピクセル精度の視差ＤＹ’および信頼性判
定結果と、路面データ3001と、デフォルト視差データ30
10とを基に撮像手段3001からの画像画面上に３Ｄマップ
を作成する。
【００４９】まず、図４(c)に示されているように、信
頼性ありと判定された各ブロックを検出した視差ＤＹ'
で動かした位置4026には、撮像手段3001からの画像の水
平エッジが存在する。またこのとき、図４(d)に示され
ているように、検出視差ＤＹ’がデフォルト視差データ
3010に一致する水平エッジ4027は路面上に存在すると判
定され、一致しない水平エッジ4028は路面より上に存在
すると判定される。路面より上に存在すると判定された
エッジは、検出視差ＤＹ’の値によって撮像手段3001か
らの距離が求められる。
【００５０】この判定と距離とを基に、図５(a)に示さ
れているように画面全体について３Ｄマップが作成され
る。まず走査線4032に示されているように、画面を下方
から垂直に走査し、領域4029のように水平エッジを有し
ないか、有していても路面上に存在すると判定されたエ
ッジしかない場合、その領域は路面に存在すると判定さ
れ、路面データ3011の値を基に３Ｄ距離が与えられる。
一方、路面より上に存在すると判定されたエッジに挟ま
れた領域4030では、その２つのエッジの距離を線形補間
した値が与えられる。路面より上に存在すると判定され
たエッジより上の領域4031ではそのエッジの距離のデー
タが与えられる。
【００５１】３Ｄ画像合成手段3008は、撮像手段3001か
らの画像とその画面上の３Ｄマップとを基に、上方の仮
想視点からの画像を合成する。したがって図５(b)に示
されているように、バンパーなどの路面より上に存在す
る点4033でも、路面上の位置4034ではなく正確な３Ｄ位
置をもとに仮想視点で見た画面上の位置が決定できるの
で、図５(c)に示されているように、路面上の位置4034
ではなく正確な位置4033に画像が合成される。一方、車
両の陰などになった部分は、領域4035に示されているよ
うに斜線で表示される。
【００５２】また、このとき図５(d)の領域4036に示さ
れているように、路面より上に存在する領域を半透明の
赤い幕や点滅等で強調することも可能である。
【００５３】表示手段3009には、この合成画像が表示さ
れ、運転者は車両周囲の障害物の位置を直感的かつ正確
に把握することができる。
【００５４】なお、図１に示されている車両姿勢情報手
段3012は、車両に荷物を積んだ場合や、車両の加速等に
伴う姿勢の変化情報を出力する。路面データ手段3011
は、この情報に対応して図６に示されているように、撮
像手段1001、3001に対する平時の路面位置データ4037に
対し、変化した路面位置データ4038を計算する。この変
化した路面位置データは、それ以降のデフォルト視差デ
ータ手段3010や３Ｄマップ作成手段3007の処理に反映さ
れる。このことによって、車両に荷物を積んだ場合や、
車両の加速等に伴って姿勢が変化場合でも正確な画像が
合成され、運転者は、この画像を見ることで、常に車両
周囲の障害物の位置を直感的かつ正確に把握することが
できる。
【００５５】ここで、第１の実施の形態では、２つの撮
像手段1001、3001を垂直方向に１０ｃｍの間隔をあけて
設置することにより、その視差によって障害物の合成画
像上の歪みを補正することができたが、このとき、視差
に微量の誤差が含まれていても、２つの撮像手段の間隔
が垂直方向なので、障害物までの距離には誤差の影響が
生じても、その障害物の方向には影響は殆ど表れないと
いう利点がある。これは車両を運転する上で大変重要な
利点である。
【００５６】また、この２つの撮像手段1001、3001を垂
直方向に間隔をあけて配置することで、その後の視差検
出処理を水平エッジ抽出手段で検出されたエッジ部分に
限定することができ、その処理量を大幅に削減できる。
車両のバンパーなど、路面から浮いている部分は殆ど画
面上で水平エッジを持っているので、その限定された処
理でも障害物を漏らすことなく検出できるという利点が
ある。
【００５７】このように、本発明の第１の実施の形態に
よれば、移動体に設置された撮像手段で撮像された画像
を上方の仮想視点からの画像に変換し、かつ複数の撮像
手段で撮像された画像間の視差を基に路面以外の３次元
情報を検出し、その３次元情報を基に前記変換された画
像の歪みを補正し、その補正された画像を表示すること
により、障害物までの距離と方向をより判り易く、かつ
正確に提示する。したがって、運転者は、表示された画
像を見ることで、車両周囲の障害物の位置関係と周囲状
況を直感的かつ正確に確認することができる。
【００５８】（第２の実施の形態）本発明の第２の実施
の形態の運転支援装置は、移動体に設置された撮像手段
で撮像された画像を上方から直交投影した画像に変換
し、かつ複数の撮像手段で撮像された画像間の視差と路
面モデルの視差とを用いて路面以外の領域を障害物領域
として検出し、その障害物領域を示す信号を前記変換画
像信号に合成し、表示することにより、運転者が車両周
囲の障害物の位置関係と周囲状況を直感的かつ正確に確
認することができるようにしたものである。
【００５９】図７は、本発明の第２の実施の形態の運転
支援装置のブロック図であり、図８〜図１１はその動作
を説明するための概略図である。また、図１２は、本発
明の第２の実施の形態の運転支援装置の変形例のブロッ
ク図である。図７と図１２のブロック図中、図１と同じ
符号が付されたブロック要素は図１のブロック要素と同
じ構成および機能を有する。
【００６０】本発明の第２の実施の形態の運転支援装置
は、画像投影手段3013、障害物エッジ距離手段3014、障
害物領域手段3015、およびオーバーレイ手段3016を備え
ており、３Ｄマップ作成手段および３Ｄ画像合成手段を
備えていない点において第１の実施の形態の運転支援装
置と異なる。
【００６１】まず路面投影手段3013は、図１の３Ｄ画像
合成手段3008とは異なり、路面データ手段3011のデータ
を基に、撮像手段3001からの入力画像を図８(a)に示さ
れているように、路面に投影した位置に存在するように
合成する。このとき視点は第１の実施の形態のような仮
想の視点ではなく、図８(a)の視点6001に示されている
ように、真上からの直交投影で得られる画像を合成す
る。このとき得られる合成画像は、図８(b)に示されて
いるように、従来例と同様、路面より上に位置する車両
のバンパーの点6002などが、より遠くの点6003に存在す
るような歪んだ画像となる。
【００６２】障害物エッジ距離手段3014は、第１の実施
の形態の３Ｄマップ作成手段3007と同様に、図８(c)に
示されている２つの画像の水平エッジについて、サブピ
クセル推定・信頼性判定手段3006から得られるその視差
から、路面より上に存在するエッジを障害物エッジとし
て検出し、撮像手段3001からの距離を算出する。図８
(c)の走査線6006に示されているように、画面を下方か
ら垂直方向に走査し、その垂直ラインについて、障害物
ラインが存在した場合、その距離の最小値が、その垂直
ライン毎に記憶され、出力される。
【００６３】障害物領域手段3015は、図８(d)に示され
ているように、障害物エッジ距離手段3014の出力の、垂
直ライン毎の障害物ラインの距離の最小値を路面に投影
した位置6008と、それ以遠の領域6009とを障害物領域と
して合成する。
【００６４】オーバーレイ手段3016は、合成画像と別の
層（レイヤー）に運転者への指示を書き込み、図９(a)
に示されているように、図８(b)、図８(d)の合成画像を
重ね合わせて合成する。このとき障害物領域6009は、画
像上半透明の赤い膜として図８(b) の車両の存在する
領域に合成される。
【００６５】表示手段3009には、このオーバーレイ手段
3016の出力が表示される。運転者は、この合成画像を見
ることで、路面上の白線の位置を正確に把握することが
でき、また他の車両などの障害物までの自車両からの距
離と方向を正確に把握することができるので、従来例と
比較しても大幅に安全かつ正確に車両を運転することが
できる。
【００６６】この第２の実施の形態では、第１の実施の
形態に比較して、撮像手段3001からの入力画像をリアル
タイムに変化する３Ｄマップに合わせて合成しなくても
良く、予め定められた路面モデルへの投影変換だけで良
いので、実回路での実現が容易であるという利点があ
る。
【００６７】また障害物エッジ距離手段3014、障害物領
域手段3015の動作も、３Ｄマップ作成手段3007に比較し
て、垂直ライン毎の障害物ラインの距離の最小値だけを
解析するので、その処理が比較的簡単であるという利点
がある。
【００６８】これらのことより、第２の実施の形態で
は、第１の実施の形態に比較して、実回路での実現が大
幅に容易であるという利点があり、かつ第１の実施の形
態と同様に、運転者が表示画像を見ることで、路面上の
白線を正確に把握することができ、また他の車両などの
障害物までの自車両からの距離と方向を正確に把握する
ことができるので、従来例と比較しても大幅に安全かつ
正確に車両を運転することができるという効果が得られ
る。
【００６９】なお、図９(b)に示されているように、障
害物領域6009ではなく、障害物ラインの距離の最小値を
路面に投影した位置6008だけを境界線として表示しても
良い。この場合でも、運転者は障害物までの距離と方向
を正確に把握することができるので、安全かつ正確に車
両を運転することができるという効果が得られる。
【００７０】図１０(a)〜(c)は、実際の撮像画像での図
９(b)の効果を示す例である。図１０(a)は、駐車操作中
の車の後方カメラから撮像される画像である。ここで
は、広角な範囲を撮像するために魚眼レンズを用いてい
る。画像には、これから駐車しようとするスペースと、
その左側にトラック、右側に乗用車が映っている。図１
０(b)は図１０(a)の撮像画像を用いて従来例によって合
成された画像である。合成画像の中央から右にかけて、
上方から見た駐車場の状況と、左に自車両を示すＣＧが
合成されている。ここでは、路面にある白線は正確な位
置に合成されるので、運転者は自車両と駐車スペースと
の関係を正確に把握できる。しかしながら、地面より上
にあるものは、実際より遠くにあるように合成される。
ここでは、トラックと自車両との間には十分な余裕があ
るように合成されているが、実際には接触の危険があ
る。図１０(c)は、本実施の形態での合成例で、障害物
までの距離を白線で表示している。この白線によって実
際のトラックまでの距離が一目で分かり、これ以上後退
すると接触の危険があることを運転者に認知させること
ができる。
【００７１】また、図９(c)は、前記障害物ラインにつ
いて、距離の最小値だけではなく、そのラインの路面か
らの高さを記憶しておき、路面からの高さに応じて、前
記表示する境界線の色と太さを変えた例である。ここで
は、例えば高さが１０ｃｍ以下のものを黄色で細く表示
し、１０〜１５ｃｍのものを赤く細く、２０ｃｍ以上の
ものを赤く太く表示する。このようにすることで、路面
が少し傾斜していた場合など、路面モデルと実際のモデ
ルとのずれのため検出される白線6012は黄色く細く表示
され、高さ１５ｃｍ以下の低い縁石6011などは赤く細く
表示され、他の車両など障害物を示す境界線6010は赤く
太く表示される。このことで、運転者は重要な障害物を
最優先に注意することができ、路面の荒れなどによるノ
イズの影響を最小限に抑えることができる。
【００７２】さらに、図９(c)においてある程度以上の
高さのある領域（障害物に相当）の境界線6010を、合成
画像の表示画面上で点滅させて、運転者にさらなる注意
を向けさせても良い。
【００７３】また、図９(d)に示されているように、あ
る程度以上の高さのある領域の境界線6010についての最
近傍点を通る自車両からの距離方向に垂直な線6013とそ
こまでの距離の値を数値6014で表示させて、運転者に実
際の距離の値を認知させても良い。
【００７４】さらに、２つの撮像手段は図１１(a)に示
されているように、必ずしも上下方向に直線上に位置し
なくても良い。この図のような配置の場合、後方の車両
がかなり接近した場合、そのバンパーの点7001が上方の
撮像手段3001からは死角で見えないが、このとき、この
部分の路面の画像は、図１２のブロック図における路面
投影手段7013に示されているように、撮像手段1001から
の画像を用いて従来と同様に路面投影で合成することが
できる。
【００７５】この場合、従来と同様に、バンパー位置の
実際と合成画像とのずれが生じるが、バンパー位置が撮
像手段1001から見て十分下の方向7002に位置するので、
その位置ずれは小さい。
【００７６】また、路面投影の合成画像に用いる上方の
撮像手段3001として１０２４×７６８画素の高解像度の
カラーカメラを用い、視差検出用の下方の撮像手段1001
として６４０×４８０画素の白黒カメラを用いても良
い。この場合、下方の撮像手段1001のコストを抑えるこ
とができ、かつ合成画像は高解像度なカラー画像を得る
ことができる。
【００７７】また、図１１(b)に示されているように、
上方の撮像手段3001は遠方を高解像度に映すようにし、
下方の撮像手段1001は近辺を高解像度に映すようにする
と共に、図１２のブロック図における路面投影手段7013
に示されているように、路面合成の際、遠方を撮像手段
3001からの画像信号を用い、近辺を撮像手段1001からの
画像信号を用いるようにしても良い。
【００７８】このように、本発明の第２の実施の形態に
よれば、移動体に設置された撮像手段で撮像された画像
を上方から直交投影した画像に変換し、かつ複数の撮像
手段で撮像された画像間の視差と路面モデルの視差とを
用いて路面以外の領域を障害物領域として検出し、その
障害物領域を示す信号を前記変換画像信号に合成し、表
示することにより、障害物までの距離と方向をより判り
易く正確に提示する。したがって、運転者は、表示され
た画像を見ることで、車両周囲の障害物の位置関係と周
囲状況を直感的かつ正確に確認することができる。
【００７９】（第３の実施の形態）本発明の第３の実施
の形態の運転支援装置では、移動体に設置された複数の
撮像手段で撮像された画像を上方の仮想視点からの画像
に変換し、かつ変換された画像間で一致しない領域を障
害物領域として検出し、その障害物領域を示す信号を前
記変換画像信号に合成し、表示することにより、運転者
が車両周囲の障害物の位置関係と周囲状況を直感的かつ
正確に確認することができるようにしたものである。
【００８０】図１３は、本発明の第３の実施の形態の運
転支援装置のブロック図、図１４はその変形例のブロッ
ク図、図１５〜図１７は、それらの動作を説明するため
の概略図である。図１３および図１４において、図７と
同じ符号が付されたブロック要素は図７のブロック要素
と同じ構成および機能を有する。
【００８１】本実施の形態では、図１５（a)に示されて
いるように、前記第１、２の実施の形態と同様に、垂直
方向に所定の間隔をあけて設置された２つの撮像手段10
01、3001から画像を入力する。この２つの入力画像は、
それぞれ路面投影手段8001、8002において、路面データ
手段3011のデータを基に、路面に投影された位置に仮想
視点1004からの画像が合成される。
【００８２】このとき、路面より上に位置する後方の車
両のバンパーの点9001は、上方の撮像手段3001からは、
路面上に投影すると9002の方向に見え、下方の撮像手段
1001からは、より遠方の9003の方向に見える。したがっ
て、それぞれ合成される画像では、図１５(b)、図１５
(c)に示されているように、路面上の白線は、同じ位置
に合成されるが、路面より上に位置する後方の車両のバ
ンパーの点9001などは異なる位置に合成される。
【００８３】障害物領域検出手段8003は、この２つの合
成画像の差を取り、一定以上の差のある領域を障害物領
域として検出する。このとき検出される領域は、図１５
(d)に示されているように、路面より上に位置して、か
つ元の撮像画像上で水平エッジを有する部分が、領域90
04、領域9005のように検出される。
【００８４】オーバーレイ手段8004では、この図１６
(a)に示されているように、図１５(b)の画像に、図１５
(d)に示されている障害物領域を重ね合わせて合成す
る。このとき障害物領域9004、9005は画像上半透明の赤
い膜として、図１５(d)で車両の存在する領域に合成さ
れる。
【００８５】表示手段3009にはこのオーバーレイ手段80
04の出力が表示される。運転者は、この合成画像を見る
ことで、従来例とは異なり、路面上の白線と障害物の区
別を正確に把握することができる。また他の車両などの
障害物までの自車両からの距離は正確ではないが、その
方向は正確に把握することができるので、従来例と比較
しても安全に車両を運転することができる。
【００８６】さらに、この第３の実施の形態のバリエー
ションを図１４、図１６(b)〜(d)、および図１７(a)〜
図１７(d)を用いて説明する。まず撮像手段1001、3001
からの撮像画像は、それぞれレンズ歪み補正・距離・方
向画像手段8005、8006で、それぞれ図１６(b)に示され
ているように路面に投影したときの撮像手段からの距離
Ｒと方向θで展開される座標上の画像に変換される。こ
のとき撮像画像にレンズ歪みや取り付け角による歪みな
どが含まれていた場合、この歪み量を予め計測してお
き、変換時に同時に補正する。距離Ｒと方向θで展開さ
れる座標上の画像は、それぞれ図１６(c)、図１６(d)に
示されているようになる。ここで、撮像手段3001からの
画像が図１６(c)、撮像手段1001からの画像が図１６(d)
で、路面上の白線などは同じ位置に合成されるが、バン
パーなどのエッジ位置は１６(d)の方が遠くに合成され
る。
【００８７】エッジ比較手段8007では、このエッジ位置
を図１６(c)、図１６(d)の走査線9008に従って比較す
る。走査線9008上の画像のエッジを示したものが図１７
(a)である。そして、この図において、図１６(c)に対応
するエッジ信号が9009、図１６(d)に対応するエッジ信
号が9010である。ここで走査線に従ってエッジ信号9009
のエッジ9011を検出したとき、これと同じ位置にエッジ
信号9010上のエッジ9012が存在するとき、これは路面上
のエッジなので無視する。一方、エッジ信号9009のエッ
ジ9013を検出し、かつこれと同じ位置にエッジ信号9010
上のエッジが存在しないとき、次に検出されるエッジ90
14までの距離ｄを検出し、このときのエッジ9013までの
距離Ｒ1と、エッジ9013からエッジ9014までの距離ｄを
距離推定手段8008へ出力する。
【００８８】距離推定手段8008では、エッジ9013までの
距離Ｒ１と、エッジ9013からエッジ9014までの距離ｄを
基に実際の距離を推定する。図１７(b)はその関係を示
したものである。ここで、撮像手段1001の高さをＨ1、
撮像手段1001から撮像手段3001までの高さの差をＨdと
し、前記入力のＲ1とｄとから、実際の点の高さＨと距
離Ｒ’の関係は簡単な比例により下記２つの関係式
［４］、［５］が求まる。
【００８９】 Ｈ＊Ｒ1＝（Ｈ1＋Ｈd）＊（Ｒ1−Ｒ’） …式［４］
【００９０】 Ｈ＊（Ｒ1＋ｄ）＝Ｈ1＊（Ｒ1＋ｄ−Ｒ’） …式［５］
【００９１】これらの関係式より、実際の点の高さＨと
距離Ｒ’は下記式［６］、［７］のように推定される。
【００９２】 Ｒ’＝Ｒ1＊（Ｒ1＋ｄ）＊Ｈd／｛Ｒ1＊Ｈd＋ｄ＊（Ｈ1＋Ｈd）｝…式［６］
【００９３】 Ｈ＝Ｈ1＊（Ｈ1＋Ｈd）＊ｄ／｛Ｈd＊Ｒ1＋（Ｈ1＋Ｈd）＊ｄ｝…式［７］
【００９４】この推定された高さＨと距離Ｒ’を障害物
領域手段8009へ出力する。障害物領域手段8009は、この
高さＨが閾値以上のときの距離Ｒ’が入力されたとき、
図１７(c)に示されているように、走査線9008上の距離
Ｒ’のところに線を引き、それより遠方を障害物領域と
決定する。
【００９５】オーバーレイ手段8004では、図１７(c)に
示されているように、撮像手段3001からの変換画像であ
る図１６(c)の上に、この障害物領域をオーバーレイ合
成する。
【００９６】距離・方向・路面変換手段8010は、このオ
ーバーレイ合成された画像の距離・方向展開された座標
を通常の上方から見た路面の画像に変換し、表示手段30
09へ出力する。
【００９７】表示手段3009に表示される画像は、図１７
(d)に示されているように、バンパーのような地面から
離れた障害物でも実際の距離Ｒ1の位置に障害物領域と
して表示されるので、運転者はこれを見ることで、安全
に運転することができる。
【００９８】この実施の形態には以下の（１）〜（４）
に記載したような利点がある。 （１）一度、距離・方向に展開した座標上に画像を変換
するとき、カメラのレンズの歪みやカメラ取り付け角な
どの歪みを補正することができる。
【００９９】（２）２つの入力画像同士で直接視差を検
出するときは、これらの歪みを別途考慮する必要がある
が、本実施の形態では、これを省略することができる。
【０１００】（３）２つの撮像手段の視野角等が異なる
場合も、同様にこの操作によってその違いの影響を吸収
できる。
【０１０１】（４）路面投影した後でエッジなどを比較
する場合は、距離方向にエッジ比較を行う必要がある
が、路面投影画像では距離方向は一定ではないので、実
際のハードでのメモリアクセスが煩雑になり、また障害
物領域を決定するときも距離方向が一定でないので同様
に実際のハードでのメモリアクセスが煩雑になる。しか
し、ここでは、画像を一度、距離・方向に展開した座標
上に画像を変換した状態で、エッジ比較と障害物領域決
定を行っている。この変換画像上では距離方向を座標軸
としているので、上述の操作が実際のハードで非常に簡
単に実現できる。
【０１０２】このように、本発明の第３の実施の形態に
よれば、移動体に設置された複数の撮像手段で撮像され
た画像を上方の仮想視点からの画像に変換し、かつ変換
された画像間で一致しない領域を障害物領域として検出
し、その障害物領域を示す信号を前記変換画像信号に合
成し、表示することにより、障害物までの距離と方向を
より判り易く正確に提示する。したがって、運転者は、
表示された画像を見ることで、車両周囲の障害物の位置
関係と周囲状況を直感的かつ正確に確認することができ
る。
【０１０３】（第４の実施の形態）本発明の第４の実施
の形態の運転支援装置は、移動体に設置された撮像手段
で撮像された画像を上方の仮想視点からの画像に変換
し、かつその変換画像において正確で歪みの少ない部分
を明るく合成し、歪みが大きく距離が不正確な部分が暗
く合成することにより、運転者が画像中の信頼性の高い
部分と低い部分とを直観的に把握できるようにしたもの
である。
【０１０４】図１８は、本発明の第４の実施の形態によ
る運転支援装置のブロック図であり、図１９は、その変
形例のブロック図である。また、図２０は、それらの動
作を説明するための概略図である。図１８および図１９
において、図７と同じ符号が付されたブロック要素は図
７のブロック要素と同じ構成および機能を有する。
【０１０５】本実施の形態では、図１８に示されている
ように１つの撮像手段1001から画像を入力する。そし
て、この入力画像を基に、画像投影手段10001におい
て、路面データ手段3011のデータで路面に投影された位
置に画像が合成されるが、このとき強度算出手段10002
は、撮像手段1001のカメラパラメータ10003と路面デー
タ手段3011のデータとの関係から路面へ投影する強度を
算出し、決定する。
【０１０６】図２０(a)に示されているように、撮像手
段10001から１画素あたり一定の光線11001を仮定する。
ここで、路面投影するときの強度Ｋを、その１画素が路
面を投影する面積Ａと、光線の路面への角度θから下記
の式［８］のように計算する。
【０１０７】簡単に式［８］を説明すると、面積Ａが大
きいほど強度は減り、また路面への角度が垂直なほど強
度は大きくなる。また強度は１．０でクリップされる。
【０１０８】Ｋ’＝α・sin（θ）／Ｓ …式［８］ if（Ｋ’＞１．０） Ｋ＝１．０ elseＫ＝Ｋ’ ここで、αは増幅強度で定数
【０１０９】この強度の算出により、図２０(a)に示さ
れているように、撮像手段1001の近辺の路面は、その強
度が大きく、遠方は強度が小さくなる。この強度の値に
従って合成された画像は、図２０(b)に示されているよ
うに、撮像手段1001から一定の近辺の路面までは、強度
Ｋが１．０であるので一定の明るさに合成され、そこか
ら遠方に行くに従って、だんだん暗くなるように合成さ
れる。
【０１１０】撮像手段1001からの入力画像をこの強度に
従って合成した画像は、図２０(c)のように、歪みが大
きく距離の誤差も大きい遠方の部分が暗く合成される。
【０１１１】運転者は、この合成画像を見ることで、従
来例とは異なり、誤差が少なく正確な近辺の部分の合成
画像をはっきり見ることができ、誤差と歪みの多い遠方
については暗く合成されているので、その明るさに応じ
た確かさしか有しない情報であることが直感的に認識で
きる。したがって、障害物までの距離を正確に把握する
ことはできないが、合成画像中の部分部分の信頼度を直
感的に把握でき、従来例と比較しても安全に車両を運転
することができる。
【０１１２】図１９に示されている変形例は、図１８を
複数の撮像手段を有するように拡張したものである。各
撮像手段1001…10007の撮像画像は、それぞれのカメラ
パラメータ10003…10004と路面データ3011との関係か
ら、強度算出手段10002…10005でそれぞれの路面投影へ
の強度が算出・決定され、その強度に従って画像投影手
段10001、10006で画像が合成される。
【０１１３】これらの路面投影合成された画像をさらに
合成手段10007で１つの画像に合成する。このとき、そ
れぞれの路面投影の強度に従った重みづけで合成が行わ
れ、表示手段3009に表示される。表示される画像は、例
えば図２０(d)に示されているように、３つの撮像手段
からの画像が１つの路面投影画像に合成されたものであ
る。
【０１１４】このとき車両後方中央の撮像手段は高解像
度なもので、左右の撮像手段は補助的なものとして低解
像度なものを用いている。したがって、左右の撮像手段
の投影する領域は１画素あたりの面積が大きいので、か
なり近辺の領域しか明るく合成しない。一方、中央の撮
像手段の投影する領域は１画素あたりの面積が比較的小
さいので、遠方まで明るく合成できる。そして、両方の
投影画像が重なる領域11002では、強度の大きい中央の
撮像手段の投影画像が大きく重みづけられて合成される
ので、より信頼性の高い画像が合成される。
【０１１５】運転者は、この合成画像を見ることで、複
数の撮像手段からの合成画像であっても、画像中の部分
部分の信頼度を直感的に把握でき、従来例と比較しても
安全に車両を運転することができる。
【０１１６】このように、本発明の第４の実施の形態に
よれば、移動体に設置された撮像手段で撮像された画像
を上方の仮想視点からの画像に変換し、かつその変換画
像において正確で歪みの少ない部分を明るく合成し、歪
みが大きく距離が不正確な部分が暗く合成することによ
り、運転者が画像中の信頼性の高い部分と低い部分を直
感的に把握できるようにした。これにより、信頼性の低
い部分の方向に車両を速く動かすといった危険な運転が
防止され、その結果、より安全な運転を促すことができ
る。
【０１１７】なお、以上説明した第４の実施の形態で
は、算出された強度にしたがって画像の明るさのみを変
化させたが、それ以外にも色づけなどを変化させても良
い。また強度の小さな部分について灰色や白色を混ぜる
ことで、霧のような効果を出すこともでき、この場合で
も運転者が強度の少ない方向へ車を速く移動させること
を防止できるので、安全な運転を促すことができる。
【０１１８】（第５の実施の形態）本発明の第５の実施
の形態運転支援装置は、撮像手段で撮像された画像を撮
像手段からの距離または高さを座標とした中間画像に変
換し、その中間画像間における一致しない領域の実際の
距離を推定して位置を修正し、その修正された領域を障
害物領域として検出し、その障害物領域を示す信号を中
間画像中に合成し、この合成画像を通常座標画像に変換
し、表示することにより、運転者が車両周囲の障害物の
位置関係と周囲状況を直感的かつ正確に確認することが
できるようにしたものである。
【０１１９】図２１は本発明の第５の実施の形態による
運転支援装置のブロック図であり、図２２〜２６はその
動作を説明するための図であり、図２７は探索処理を説
明するためのフローチャートである。図２１において、
図７と同じ符号が付されたブロック要素は図７のブロッ
ク要素と同じ構成および機能を有する。
【０１２０】本実施の形態では、撮像手段1001、3001は
魚眼レンズを有し、その撮像画像はレンズ歪み補正・距
離−高さ・方向画像手段13005、13006にそれぞれ入力さ
れる。レンズ歪み補正・距離−高さ・方向画像手段1300
5、13006では、入力画像は図２２(1)に示されているよ
うに、撮像手段からの所定の距離Ｒmaxまでは路面に投
影し、それ以遠は円筒に投影したと仮定し、図２２(b)
に示されているように、このときの路面上の距離Ｒまた
は円筒上の高さＨと方向θとで展開される座標の変換画
像に変換される。
【０１２１】このとき撮像画像にレンズ歪みや取り付け
角による歪みなどが含まれていた場合、この歪み量を予
め計測しておき変換時に同時に補正する。例えば、図２
３(a)、(b)に示されている撮像画像図は、それぞれ同図
(c)、(d)に示されているようになる。ここでは、前記路
面上の所定の距離Ｒmax＝３００ｃｍであり、また、図
２２(a)に示されているＲmin＝０ｃｍ、Ｈmax＝２００
ｃｍである。
【０１２２】エッジ抽出手段13007では、前記それぞれ
の変換画像について垂直方向に５画素離れた信号の差分
をとる操作により、水平エッジを抽出する。図２４
(a)、(b)にそれぞれレンズ歪み補正・距離−高さ・方向
画像手段13005、13006の出力の変換画像の水平エッジが
抽出された画像の様子を示す。ここで、図２４(a)が上
方の撮像手段3001からのものであり、図２４(b)が他方
のものである。図の中で破線14007で示されているよう
に、垂直に近い斜めのエッジは弱められ、太い実線1400
8で示されているように、水平エッジは強調される。
【０１２３】水平ブロックマッチング・距離推定手段13
008は、このエッジ位置を走査線14001に従って走査し、
エッジの極大点14002を検出すると、その極大点を中心
とした縦横１０画素の範囲のブロック14003の画像信号
を記憶する。
【０１２４】次に、図２４(b)に示されているエッジ画
像について、前記走査線14001と同じ水平位置の走査線1
4004上で、図２１に示されている探索範囲データ手段13
012に従った範囲で、前記記憶したブロック14003と最も
類似したデータを持つブロック14006を検出する。この
とき、ブロック14006の中心点14005と前記エッジの極大
点14002の垂直位置との差を変換画像上での視差データ
として距離が推定される。
【０１２５】このときの、探索範囲データ手段13012
と、水平ブロックマッチング・距離推定手段13008の動
作を、図２７のフロー図を基にしてさらに詳しく説明す
る。探索範囲データ手段13012には、ブロック14003の中
心位置14002の垂直位置に対応したデータが格納されて
いる。図２５(a)の点14013に示されているように、上方
の撮像手段3001から見た点14002の位置が路面に対応し
ている場合（点14002の位置が、図２４(a)のRmaxより下
の場合）、路面上の点14013と撮像手段からの距離５０
ｃｍの点14014とをそれぞれ下方の撮像手段1001で見た
ときの変換画像上（図２５(b)）での垂直位置14015、14
016が探索範囲データ手段13012に記憶されている（ただ
し、このとき、路面上の点14013を下方の撮像手段1001
で見たときの垂直位置14015は、両画像とも路面を仮定
して変換画像を合成しているので点14002の垂直位置と
同じになる。）。
【０１２６】また、図２５(a)に示されているように、
上方の撮像手段3001から見た点14002の位置が円筒に対
応している場合（点14002の位置が、図２４(a)のRmaxよ
り上の場合）、無限遠点14017と円筒上の点14018と撮像
手段からの距離５０ｃｍの点14019とをそれぞれ下方の
撮像手段1001で見たときの変換画像上での垂直位置1402
0、14021、14022が探索範囲データ手段13012に記憶され
ている（ただし、このときも、円筒上の点14018を下方
の撮像手段1001で見たときの垂直位置14021は、両画像
とも円筒を仮定して変換画像を合成しているので点1400
2の垂直位置と同じになる。）。
【０１２７】これらの探索範囲データを元に、図２７に
示されているフローに従って、探索処理が行われる。
【０１２８】まず、点14002の位置が路面に対応するか
円筒に対応するかを判断する（ステップＳ１）。
【０１２９】そして、路面に対応すると判断した場合
（ステップＳ１でYES）、まず垂直位置14015でブロック
の信号の差の絶対値の集計（ＳＡＤ）を求め（ステップ
Ｓ２）、そのＳＡＤ値が閾値ＴＨよりも小さい場合（ス
テップＳ３でYES）、ブロックデータが一致したと判断
し、この場合、点14002の水平エッジは路面上のエッジ
であるとの判断出力を行って処理を終わる（ステップＳ
４）。前記ＳＡＤ値が閾値ＴＨよりも大きい場合（ステ
ップＳ３でNO）、垂直位置14015から14016の範囲でＳＡ
Ｄ値が最小となる位置を探索する（ステップＳ５）。最
小となったＳＡＤ値が閾値ＴＨよりも小さい場合（ステ
ップＳ６でYES）、その位置と点14002の垂直位置との差
を視差データとして距離と路面からの高さが求まるの
で、それを出力して処理を終わる（ステップＳ７）。最
小となったＳＡＤ値が閾値ＴＨよりも大きい場合（ステ
ップＳ６でNO）、一致する水平エッジが存在しないとの
判断出力を行って処理を終わる（ステップＳ８）。
【０１３０】円筒に対応すると判断した場合（ステップ
Ｓ１でNO）、まず垂直位置14020から14021までの範囲で
ＳＡＤ値の最小値を求め（ステップＳ9）、そのＳＡＤ
値の最小値が閾値ＴＨよりも小さい場合（ステップＳ10
でYES）、ブロックデータが一致したと判断し、この場
合、点14002の水平エッジは円筒までの距離Ｒmaxより遠
方であるとの判断出力を行って処理を終わる（ステップ
Ｓ11）。前記ＳＡＤ値が閾値ＴＨよりも大きい場合（ス
テップＳ10でNO）、垂直位置14021から14022の範囲でＳ
ＡＤ値が最小となる位置を探索する（ステップＳ12）。
最小となったＳＡＤ値が閾値ＴＨよりも小さい場合（ス
テップＳ13でYES）、その位置と14002の垂直位置との差
を視差データとして距離と路面からの高さが求まるの
で、それを出力して処理を終わる（ステップＳ14）。最
小となったＳＡＤ値が閾値ＴＨよりも大きい場合（ステ
ップＳ1３でNO）、一致する水平エッジが存在しないと
の判断出力を行って処理を終わる（ステップＳ1５）。
【０１３１】以上の処理フローによって、障害物と関係
ない、路面上や遠方の水平エッジは、少ない処理で判断
・除去でき、障害物に関係するエッジのみ多くの処理が
発生するので、全体的に非常に少ない処理で、障害物に
関係するエッジの距離と高さが算出できる。
【０１３２】障害物境界手段13009では、図２７に示さ
れているように、距離と高さが検出された水平エッジに
ついて、その高さが２０ｃｍ以上のものを障害物のエッ
ジと判断し、図２５(c)に示されているように、距離
Ｒ’の場所に線を引き、その結果、水平エッジの集合は
障害物境界を示す線14023となる。
【０１３３】画像投影手段13010では、別途撮像手段300
1の画像を基に直接上方仮想視点から見た画像が合成さ
れ、オーバーレイ手段13004では、図２５(c)に示されて
いるように、画像投影手段13010から画像の上に、この
障害物をオーバーレイ合成する。
【０１３４】このオーバーレイ合成された画像が、表示
手段3009に表示される。表示される画像は、図２５(c)
に示されているように、バンパーのように地面から離れ
た障害物が存在しても実際の距離の位置に障害物境界の
線が表示されるので、運転者はこれを見ることで安全に
運転することができる。
【０１３５】この実施の形態には以下の（１）〜（８）
に記載したような利点がある。 （１）一度、距離・方向に展開した座標上に画像を変換
するとき、撮像手段のレンズの歪みや撮像手段の取り付
け角などの歪みを補正することができる。
【０１３６】（２）２つの入力画像同士で直接視差を検
出するときは、これらの歪みを別途勘案する必要がある
が、これを省くことができる。
【０１３７】（３）２つの撮像手段の視野角等が異なる
場合も、同様にこの操作によってその違いの影響を吸収
することができる。
【０１３８】（４）また、図２２(a)に示されているよ
うに、路面に加えて円筒を仮定した変換画像を用いるこ
とで、撮像手段に対し高い位置にあるため路面投影画像
では現れないような障害物も検出でき、表示画像上にそ
の障害物境界線を表示することができる。
【０１３９】（５）図２７に示されている処理フローに
よって、障害物と関係ない、路面上や遠方の水平エッジ
は、少ない処理で判断・除去でき、障害物に関係するエ
ッジのみ多くの処理が発生するので、全体的に非常に少
ない処理で、障害物に関係するエッジの距離と高さが算
出できる。
【０１４０】（６）探索範囲データ手段13012を設ける
ことで、必要な範囲だけ探索できるので、全体的に非常
に少ない処理で、障害物に関係するエッジの距離と高さ
が算出できる。
【０１４１】（７）図２２(a)に示されているように、
路面に加えて円筒を仮定した変換画像を用いることで、
探索範囲データは水平エッジ14002の垂直位置のみで決
定され、水平位置には依存しないので、そのメモリ量を
非常に少なくすることができる。
【０１４２】例えば、従来のように魚眼レンズを有する
撮像手段の画像をそのまま用いてステレオマッチングを
行う場合、その探索範囲は図２６に示されているよう
に、画面の垂直位置と水平位置に依存した曲線14024、1
4025になってしまう。この曲線のデータを記憶するため
には非常に多くのメモリを必要とする。本実施の形態で
は、このメモリを非常に少なくすることができ、かつ単
純な構成で実現できる。
【０１４３】（８）従来のステレオマッチングでは、こ
の曲線の位置は、厳密には画素単位以下の精度を必要と
するが、実際の探索におけるＳＡＤ値の算出において
は、画素単位の位置精度でしか求めることができないの
で、この量子化ノイズが悪影響を及ぼす。本実施の形態
では、その悪影響も回避することができる。
【０１４４】図２８(a)〜(c)は、第５の実施の形態のバ
リエーションを説明するものである。図２２(a)、(b)に
示されている路面と円筒の投影面の代わりに、図２８
(a)、(b)に示されているように上方の撮像手段3001の位
置を中心とした球面を投影面としてもよい。また、図２
８(c)に示されているように、変換画像の横軸は必ずし
も角度θでなくてもよく、関数Ｆ（θ）で圧縮したもの
でも良い。
【０１４５】図２９(a)は、第５の実施の形態の別のバ
リエーションを説明するものである。ここで、上方の撮
像手段3001の解像度は６４０ｘ４８０画素のものとし、
ステレオマッチングにしか使用しない下方の撮像手段10
01は３２０ｘ４８０画素とする。このことで、表示用の
合成画像は高解像度で、かつ障害物境界は必要十分な精
度で検出でき、撮像手段の構成を安価なものにできる。
【０１４６】図２９(b)は、第５の実施の形態のさらに
別のバリエーションを説明するものである。撮像手段30
01、1001の同じ軸上に撮像手段18001を加え、障害物と
検知されたエッジについて、さらに撮像手段18001の画
像をもって検証することによって、ノイズを低減できる
ようにした。
【０１４７】図２９(c)は、第５の実施の形態のさらに
別のバリエーションを説明するものである。撮像手段30
01、1001の軸上とは別位置に撮像手段18002を加えるこ
とによって、水平エッジ以外の垂直エッジも使用して障
害物を検知することができるようにした。
【０１４８】図３０(a)〜(c)は、第１〜第５の実施の形
態において、上下２つのカメラで構成していたステレオ
画像の撮像を１つのカメラで構成したものである。図３
０(a)は、レンズ1904の前に複数の鏡1901〜1903を配置
することにより、1つの撮像面1905上の左右に、それぞ
れ視差のあるステレオ画像を得るものである。また、図
３０(b)は、２つの凸面鏡1906、1907をカメラ1908で撮
像することによって、実質上、上下に視差のある画像を
得るものである。そして、図３０(c)は、図３０(b)のカ
メラ1908で撮像される画像を示すもので、画面1909に
は、上に位置する凸面鏡1907で写した画像1910と、下に
位置する凸面鏡1906で写した画像1911とが表示される。
【０１４９】ここで、凸面鏡1906、1907の曲率を調節す
ることによって、撮像範囲と撮像画像の解像度を調節す
ることができる（垂直方向と水平方向を独立に調節する
こともできる）。
【０１５０】また、図３０(b)では、凸面鏡1906と1907
で撮像される角度の範囲はほぼ同じであるが、凸面鏡19
06は凸面鏡1907に比較して曲率が大きく、小さな鏡で同
じ範囲を撮像できるようになっており、このため、画面
1909で画像1911は画像1910より小さく写っている。その
結果、画像1910は高解像度であり、画像1911は比較的低
解像度となる。画像1911は、視点変換の合成画像用に用
いられ、画像1910はステレオ解析のみに用いられる。
【０１５１】つまり、この合成によって、前述した図２
９の第５の実施の形態の別のバリエーションで説明した
ものと同様に、表示用の合成画像は高解像度で、かつ障
害物領域は必要十分な精度で検出でき、カメラおよび画
像処理装置を安価なものにできる。
【０１５２】以上図３０(a)〜(c)を用いて説明したよう
に、第１〜第５の実施の形態において、上下２つのカメ
ラで構成していたステレオ画像の撮像を凸面鏡や反射鏡
を用いて、１つのカメラで構成してもよい。
【０１５３】なお、上述した第１〜第５の実施の形態に
おいては、本発明の運転支援装置は、主として、後方の
画像を生成するものであるとして説明したが、これに限
るものではなく、前方や側方での画像を生成するものと
しても良い。
【０１５４】また、上述した第１の実施の形態において
は路面モデルを用いた仮想視点による画像合成を基にし
た例を説明し、第２の実施の形態においては路面モデル
を用いた上方からの直交投影による画像合成を基にした
例を説明したが、これはそれぞれ他方のものを基にして
も良く、その場合でも本発明の運転支援装置の効果は変
わりなく得られる。
【０１５５】さらに、本実施の形態の運転支援装置の各
手段の機能の全部または一部をコンピュータに実行させ
るプログラムを用いて実現できる。
【０１５６】
【発明の効果】以上説明したように、本発明は、撮像手
段で撮像された画像を上方の仮想視点で見た画像または
上方から直交投影した画像に変換し、かつ路面以外の３
次元情報を検出し、その３次元情報を基に前記変換され
た画像の歪みを補正し、その補正された画像を表示する
ことにより、障害物までの距離と方向をより判り易く正
確に提示することができるという優れた効果を有する運
転支援装置を提供することができるものである。
【０１５７】また、本発明は、撮像手段で撮像された画
像を上方の仮想視点で見た画像または上方から直交投影
した画像に変換し、かつ複数の撮像画像間の視差と路面
モデルの視差とを用いて路面以外の領域を障害物領域と
して検出し、その障害物領域を示す信号を前記変換画像
信号に合成し、表示することにより、障害物までの距離
と方向をより判り易く正確に提示することができるとい
う優れた効果を有する運転支援装置を提供することがで
きるものである。
【０１５８】さらに、本発明は、撮像手段で撮像された
画像を上方の仮想視点で見た画像または上方から直交投
影した画像に変換し、かつ変換された画像の間で一致し
ない領域を障害物領域として検出し、その障害物領域を
示す信号を前記変換画像信号に合成し、表示することに
より、障害物までの距離と方向をより判り易く正確に提
示することができるという優れた効果を有する運転支援
装置を提供することができるものである。
【０１５９】そして、本発明の運転支援装置は、撮像手
段で撮像された画像を前記撮像画像を撮像手段からの距
離と角度とを座標とした中間画像に変換し、その中間画
像間における一致しない領域の実際の距離を推定して位
置を修正し、その修正された領域を障害物領域として検
出し、その障害物領域を示す信号を中間画像中に合成
し、この合成画像を通常座標画像に変換し、表示するこ
とにより、障害物までの距離と方向をより判り易く正確
に提示することができるという優れた効果を有する運転
支援装置を提供することができるものである。
【０１６０】また、本発明は、撮像画像を上方の仮想視
点で見た画像または上方から直交投影した画像に変換
し、かつ変換画像上で距離や歪みの大きい障害物の領域
を判り易く提示することにより、画像中の信頼性の高い
部分と低い部分とを提示することができるという優れた
効果を有する運転支援装置を提供することができるもの
である。
【０１６１】さらに、本発明は、撮像手段で撮像された
画像を前記撮像画像を撮像手段からの距離または高さお
よび角度を座標とした中間画像に変換し、その中間画像
間における一致しない領域の実際の距離を推定して位置
を修正し、その修正された領域を障害物領域として検出
し、その障害物領域を示す信号を中間画像中に合成し、
この合成画像を通常座標画像に変換し、表示することに
より、障害物までの距離と方向をより判り易く正確に提
示することができるという優れた効果を有する運転支援
装置を提供することができるものである。
【０１６２】そして、本発明は、撮像手段で撮像された
画像を前記撮像手段間を結ぶ直線を軸とした軸対称な面
を投影面とした中間画像に変換し、その中間画像間にお
ける一致しない領域の実際の距離を推定して位置を修正
し、その修正された領域を障害物領域として検出し、そ
の障害物領域を示す信号を中間画像中に合成し、この合
成画像を通常座標画像に変換し、表示することにより、
障害物までの距離と方向をより判り易く正確に提示する
ことができるという優れた効果を有する運転支援装置を
提供することができるものである。
【０１６３】また、本発明は、所定の視差を有する複数
の画像を撮像し、複数の撮像画像の視差に基づいて視点
変換画像を補正し、表示することにより、障害物までの
距離と方向をより判り易く正確に提示することができる
という優れた効果を有する運転支援装置を提供すること
ができるものである。
【０１６４】以上述べたように、本発明は、運転者の負
担を軽減し、正確で安全な運転を促すことができるとい
う優れた効果を有する運転支援装置を提供することがで
きるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の運転支援装置の構
成を示すブロック図、
【図２】本発明の第１の実施の形態の運転支援装置の動
作を説明するための概略図、
【図３】本発明の第１の実施の形態の運転支援装置の動
作を説明するための概略図、
【図４】本発明の第１の実施の形態の運転支援装置の動
作を説明するための概略図、
【図５】本発明の第１の実施の形態の運転支援装置の動
作を説明するための概略図、
【図６】本発明の第１の実施の形態の運転支援装置の動
作を説明するための概略図、
【図７】本発明の第２の実施の形態の運転支援装置の構
成を示すブロック図、
【図８】本発明の第２の実施の形態の運転支援装置の動
作を説明するための概略図、
【図９】本発明の第２の実施の形態の運転支援装置の動
作を説明するための概略図、
【図１０】本発明の第２の実施の形態の運転支援装置の
効果の例を示す図、
【図１１】本発明の第２の実施の形態の運転支援装置の
動作を説明するための概略図、
【図１２】本発明の第２の実施の形態の運転支援装置の
変形例の構成を示すブロック図、
【図１３】本発明の第３の実施の形態の運転支援装置の
構成を示すブロック図、
【図１４】本発明の第３の実施の形態の運転支援装置の
変形例の構成を示すブロック図、
【図１５】本発明の第３の実施の形態の運転支援装置の
動作を説明するための概略図、
【図１６】本発明の第３の実施の形態の運転支援装置お
よびその変形例の動作を説明するための概略図、
【図１７】本発明の第３の実施の形態の運転支援装置の
変形例の動作を説明するための概略図、
【図１８】本発明の第４の実施の形態の運転支援装置の
構成を示すブロック図、
【図１９】本発明の第４の実施の形態による運転支援装
置の変形例の構成を示すブロック図、
【図２０】本発明の第４の実施の形態の運転支援装置お
よびその変形例の動作を説明するための概略図、
【図２１】本発明の第５の実施の形態の運転支援装置の
構成を示すブロック図、
【図２２】本発明の第５の実施の形態の運転支援装置の
動作を示す概略図、
【図２３】本発明の第５の実施の形態の運転支援装置の
動作を示す概略図、
【図２４】本発明の第５の実施の形態の運転支援装置の
動作を示す概略図、
【図２５】本発明の第５の実施の形態の運転支援装置の
動作を示す概略図、
【図２６】本発明の第５の実施の形態の運転支援装置の
動作を示す概略図、
【図２７】本発明の第５の実施の形態の運転支援装置に
おける探索処理を説明するためのフローチャート、
【図２８】本発明の第5の実施の形態の運転支援装置の
変形例を示す概略図、
【図２９】本発明の第５の実施の形態の運転支援装置の
別の変形例を示す概略図、
【図３０】本発明の第１〜第５の実施の形態のステレオ
カメラの構成方法の変形例を示す図、
【図３１】従来の運転支援装置の動作を示す概略図、
【図３２】従来の運転支援装置の課題を示す概略図であ
る。
【符号の説明】
1001 撮像手段 3001 撮像手段 3002 水平エッジ抽出手段 3003 水平エッジ抽出手段 3004 ブロック設定手段 3005 探索手段 3006 サブピクセル推定・信頼性判定手段 3007 ３Ｄマップ作成手段 3008 ３Ｄ画像合成手段 3009 表示手段 3010 デフォルト視差データ手段 3011 路面データ手段 3012 車両姿勢情報手段 3013 画像投影手段 3014 障害物エッジ距離手段 3015 障害物領域手段 3016 オーバーレイ手段 7013 画像投影手段 8001 画像投影手段 8002 画像投影手段 8003 障害物領域検出手段 8004 オーバーレイ手段 8005 レンズ歪み補正・距離・方向画像手段 8006 レンズ歪み補正・距離・方向画像手段 8007 エッジ比較手段 8008 距離推定手段 8009 障害物領域手段 8010 距離・方向・路面変換手段 10001 画像投影手段 10002 強度算出手段 10005 強度算出手段 10006 画像投影手段 10007 撮像手段 13004 オーバーレイ手段 13005 レンズ歪み補正・距離−高さ・方向画像手段 13006 レンズ歪み補正・距離−高さ・方向画像手段 13007 エッジ抽出手段 13008 ブロックマッチング・距離推定手段 13009 障害物境界手段 13012 探索範囲データ手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３１５ Ｇ０６Ｔ 1/00 ３１５ ３３０ ３３０Ｂ 3/00 ２００ 3/00 ２００ ３００ ３００ 7/60 １８０ 7/60 １８０Ｂ Ｈ０４Ｎ 13/00 Ｈ０４Ｎ 13/00 (72)発明者 岡田 毅 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 Ｆターム(参考） 5B057 AA16 BA02 CA13 CA16 CB01 CB13 CB16 CD01 CD12 CD16 CE08 CE11 CE16 DA16 DC03 DC16 5C054 AA01 CA04 CC02 CE01 CE15 CF01 CG02 CH01 EA01 EA03 EA05 ED07 ED12 EE09 FB05 FC04 FC12 FC15 FD01 FE09 FE16 FF07 HA30 5C061 AA06 AA21 AB04 AB08 AB12 AB17 5L096 AA09 BA04 CA05 FA06 FA25 FA66

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 移動体に設置された撮像手段と、前記撮
    像手段で撮像された１つ以上の画像を、路面モデルを基
    に前記撮像手段より上方の仮想視点で見た画像または上
    方から直交投影した画像に変換する変換手段と、前記撮
    像手段の撮像画像間の視差を基に路面以外の３次元情報
    を検出する検出手段と、前記検出された３次元情報を基
    に前記視点変換された画像中の像の歪みを補正する歪み
    補正手段と、前記歪み補正された画像を表示する表示手
    段とを備えたことを特徴とする運転支援装置。
  2. 【請求項２】 移動体に設置された撮像手段と、前記撮
    像手段で撮像された１つ以上の画像を、路面モデルを基
    に前記撮像手段の位置より上方の仮想視点で見た画像ま
    たは上方から直交投影した画像に変換する変換手段と、
    前記撮像手段の撮像画像間の視差が路面モデル上の視差
    と一致しない領域を障害物領域として検出する障害物領
    域検出手段とを備えたことを特徴とする運転支援装置。
  3. 【請求項３】 前記路面モデルを基に前記視点変換され
    た画像中に前記検出された領域をオーバーレイ合成する
    オーバーレイ手段と、前記合成された画像を表示する表
    示手段とを備えたことを特徴とする請求項２記載の運転
    支援装置。
  4. 【請求項４】 前記オーバーレイ手段は、前記検出され
    た領域の視差から、前記撮像手段からの距離および路面
    からの高さを検出し、この距離および高さに応じて領域
    の表示を変化させた後、前記路面モデルを基に前記視点
    変換された画像中に前記検出された領域をオーバーレイ
    合成することを特徴とする請求項３記載の運転支援装
    置。
  5. 【請求項５】 前記オーバーレイ手段は、前記検出され
    た領域の視差から、前記撮像手段からの距離を検出し、
    前記路面モデルを基に前記視点変換された画像中に前記
    検出された領域とその距離の文字表示とをオーバーレイ
    表示することを特徴とする請求項３記載の運転支援装
    置。
  6. 【請求項６】 移動体に設置された撮像手段と、前記撮
    像手段で撮像された１つ以上の画像を、路面モデルを基
    に前記撮像手段の位置より上方の仮想視点で見た画像ま
    たは上方から直交投影した画像に変換する変換手段と、
    前記変換された画像間で一致しない領域を障害物領域と
    して検出する障害物領域検出手段と、前記変換された画
    像中に前記障害物領域をオーバーレイ合成するオーバー
    レイ手段と、前記合成された画像を表示する表示手段と
    を備えたことを特徴とする運転支援装置。
  7. 【請求項７】 移動体に設置された撮像手段と、前記撮
    像手段で撮像された１つ以上の画像を、路面モデルを基
    に前記撮像手段からの距離と角度とを座標とした中間画
    像に変換する中間画像変換手段と、前記それぞれ変換さ
    れた画像間で一致しない領域を検出し、さらに前記領域
    内の２つの画像を比較して、実際の距離を推定し、この
    推定された距離を用いて前記変換された画像中の前記領
    域の距離位置を修正し、この修正された領域を障害物領
    域として出力する障害物領域検出手段と、前記変換され
    た画像に前記障害物領域をオーバーレイ合成するオーバ
    ーレイ手段と、前記合成された画像を路面の通常座標画
    像に変換する変換手段と、前記変換された画像を表示す
    る表示手段とを備えたことを特徴とする運転支援装置。
  8. 【請求項８】 前記移動体に設置された撮像手段は、前
    記移動体の垂直方向、または路面モデルに対して垂直方
    向、または撮像手段の一つから前記仮想視点もしくは前
    記直交投影する視線の方向、のいずれかに、所定の間隔
    を置いて複数配置されていることを特徴とする請求項１
    乃至７のいずれか１項記載の運転支援装置。
  9. 【請求項９】 移動体に設置された撮像手段と、前記撮
    像手段で撮像された１つ以上の画像を、それぞれ路面モ
    デルを基に前記撮像手段の位置より上方の仮想視点で見
    た画像または上方から直交投影した画像に変換する変換
    手段と、前記変換された画像を表示する表示手段とを備
    えた運転支援装置であって、前記変換手段において、前
    記撮像手段の画面の各画素の路面モデル上の面積および
    路面への角度を基に強度を求め、この強度を基に画素の
    明るさおよび色づけに変化を持たせることを特徴とする
    運転支援装置。
  10. 【請求項１０】 移動体に設置された撮像手段と、前記
    撮像手段で撮像された１つ以上の画像を、路面モデルお
    よび円筒モデルを基に前記撮像手段からの距離または高
    さおよび角度を座標とした中間画像に変換する中間画像
    変換手段と、前記変換された画像間で一致しない領域を
    検出し、さらに前記領域内の２つの画像を比較して、実
    際の距離を推定し、この推定された距離を用いて前記変
    換された画像中の前記領域の距離位置を修正し、この修
    正された領域を障害物領域として出力する障害物領域検
    出手段と、前記変換された画像に前記障害物領域をオー
    バーレイ合成するオーバーレイ手段と、前記合成された
    画像を路面の通常座標画像に変換する変換手段と、前記
    変換された画像を表示する表示手段とを備えたことを特
    徴とする運転支援装置。
  11. 【請求項１１】 移動体に設置された複数の撮像手段
    と、前記撮像手段で撮像された画像を、前記撮像手段間
    を結ぶ直線を軸とした軸対称な面を投影面とした中間画
    像に変換する中間画像変換手段と、前記変換された画像
    間で一致しない領域を検出し、さらに前記領域内の２つ
    の画像を比較して、実際の距離を推定し、この推定され
    た距離を用いて前記変換された画像中の前記領域の距離
    位置を修正し、この修正された領域を障害物領域として
    出力する障害物領域検出手段と、前記変換された画像に
    前記障害物領域をオーバーレイ合成するオーバーレイ手
    段と、前記合成された画像を路面の通常座標画像に変換
    する変換手段と、前記変換された画像を表示する表示手
    段とを備えたことを特徴とする運転支援装置。
  12. 【請求項１２】 探索範囲データを記憶する記憶手段を
    備えたことを特徴とする請求項７または１０または１１
    記載の運転支援装置。
  13. 【請求項１３】 前記撮像手段は、同じ軸上に３つ以上
    配置されていることを特徴とする請求項７または１０ま
    たは１１記載の運転支援装置。
  14. 【請求項１４】 前記撮像手段は、１つの撮像手段を中
    心に垂直軸上に２つ、水平軸上に２つの合計３つ以上配
    置されていることを特徴とする請求項７または１０また
    は１１記載の運転支援装置。
  15. 【請求項１５】 前記撮像手段は、解像度の異なる２つ
    以上の撮像手段からなることを特徴とする請求項７また
    は１０または１１記載の運転支援装置。
  16. 【請求項１６】 移動体に設置された撮像手段と、前記
    撮像手段で撮像された画像を前記撮像手段の位置とは異
    なる仮想視点で見た視点変換画像に変換する変換手段
    と、前記変換手段により変換された画像を表示する表示
    手段とを備え、前記撮像手段は、所定の視差を有する複
    数の画像を撮像し、前記表示手段は前記視差に基づいて
    補正された画像を表示することを特徴とする運転支援装
    置。
JP2001244275A 2001-03-28 2001-08-10 運転支援装置 Expired - Lifetime JP4861574B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001244275A JP4861574B2 (ja) 2001-03-28 2001-08-10 運転支援装置
DE10296593.5T DE10296593B4 (de) 2001-03-28 2002-03-01 Fahrunterstützungsvorrichtung
PCT/JP2002/001933 WO2002080557A1 (en) 2001-03-28 2002-03-01 Drive supporting device
US10/472,919 US7218758B2 (en) 2001-03-28 2002-03-01 Drive supporting device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2001-93721 2001-03-28
JP2001093721 2001-03-28
JP2001093721 2001-03-28
JP2001244275A JP4861574B2 (ja) 2001-03-28 2001-08-10 運転支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011215994A Division JP5083443B2 (ja) 2001-03-28 2011-09-30 運転支援装置および方法、ならびに演算装置

Publications (2)

Publication Number Publication Date
JP2002359838A true JP2002359838A (ja) 2002-12-13
JP4861574B2 JP4861574B2 (ja) 2012-01-25

Family

ID=26612416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001244275A Expired - Lifetime JP4861574B2 (ja) 2001-03-28 2001-08-10 運転支援装置

Country Status (4)

Country Link
US (1) US7218758B2 (ja)
JP (1) JP4861574B2 (ja)
DE (1) DE10296593B4 (ja)
WO (1) WO2002080557A1 (ja)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003091720A (ja) * 2001-07-12 2003-03-28 Nissan Motor Co Ltd 視点変換装置および視点変換プログラムならびに車両用画像処理装置
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP2004213489A (ja) * 2003-01-07 2004-07-29 Nissan Motor Co Ltd 車両用運転支援装置
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
JP2004289386A (ja) * 2003-03-20 2004-10-14 Clarion Co Ltd 画像表示方法、画像表示装置及び画像処理装置
JP2004289681A (ja) * 2003-03-24 2004-10-14 Sharp Corp 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005186758A (ja) * 2003-12-25 2005-07-14 Equos Research Co Ltd 駐車支援装置
JP2005294954A (ja) * 2004-03-31 2005-10-20 Pioneer Electronic Corp 表示装置及び補助表示装置
JP2005318541A (ja) * 2004-04-02 2005-11-10 Denso Corp 車両周辺監視システム
JP2005347863A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両周囲表示装置及び車両周囲表示方法
JP2006048451A (ja) * 2004-08-05 2006-02-16 Toshiba Corp 周辺監視装置および俯瞰画像表示方法
JP2006171964A (ja) * 2004-12-14 2006-06-29 Nissan Motor Co Ltd 画像処理装置、画像処理システム及び画像処理方法
JP2006268076A (ja) * 2005-03-22 2006-10-05 Sanyo Electric Co Ltd 運転支援システム
JP2006306241A (ja) * 2005-04-27 2006-11-09 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
WO2007023715A1 (en) * 2005-08-25 2007-03-01 Ricoh Company, Ltd. Image processing method and apparatus, digital camera, and recording medium recording image processing program
JP2007058634A (ja) * 2005-08-25 2007-03-08 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP2007067847A (ja) * 2005-08-31 2007-03-15 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP2007104538A (ja) * 2005-10-07 2007-04-19 Nissan Motor Co Ltd 車両用死角映像表示装置
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
JP2007142545A (ja) * 2005-11-15 2007-06-07 Denso Corp 車両周辺画像処理装置及びプログラム。
JP2007172501A (ja) * 2005-12-26 2007-07-05 Alpine Electronics Inc 車両運転支援装置
JP2007233876A (ja) * 2006-03-02 2007-09-13 Alpine Electronics Inc 複数カメラ撮影画像処理方法及び装置
JP2008257502A (ja) * 2007-04-05 2008-10-23 Mitsubishi Electric Corp 車両周辺監視装置
KR100929689B1 (ko) * 2008-09-08 2009-12-03 재단법인대구경북과학기술원 스테레오 영상 정보를 이용한 차량용 사고기록 장치 및 그 제어 방법
JPWO2008053649A1 (ja) * 2006-11-02 2010-02-25 コニカミノルタホールディングス株式会社 広角画像取得方法及び広角ステレオカメラ装置
KR100972041B1 (ko) 2009-01-15 2010-07-22 한민홍 카메라를 이용한 장애물 인식방법
JP2010197186A (ja) * 2009-02-25 2010-09-09 Topcon Corp 対象物検出装置
JP2010212857A (ja) * 2009-03-09 2010-09-24 Denso Corp 車両用画像表示装置
KR100997617B1 (ko) 2008-11-20 2010-12-01 재단법인대구경북과학기술원 교통 수단의 사고 기록 장치, 방법 및 시스템
JP2010278931A (ja) * 2009-05-29 2010-12-09 Toshiba Corp 画像処理装置
JP2011048829A (ja) * 2009-08-27 2011-03-10 Robert Bosch Gmbh 車両の運転者に案内情報を提供するためのシステム及び方法
JP2011223582A (ja) * 2010-04-09 2011-11-04 Tektronix Internatl Sales Gmbh 立体画像３次元奥行き測定方法
WO2014034444A1 (ja) * 2012-08-31 2014-03-06 ソニー株式会社 画像処理装置および画像処理方法、並びに情報処理装置
KR101413231B1 (ko) * 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
WO2016075809A1 (ja) * 2014-11-14 2016-05-19 日産自動車株式会社 表示装置及び表示方法
US9591280B2 (en) 2011-07-29 2017-03-07 Fujitsu Limited Image processing apparatus, image processing method, and computer-readable recording medium
JP2017199178A (ja) * 2016-04-27 2017-11-02 Ｋｙｂ株式会社 路面状態検出装置
WO2017212929A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
WO2017212927A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP2019060610A (ja) * 2017-09-22 2019-04-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP2019067150A (ja) * 2017-09-29 2019-04-25 株式会社デンソー 周辺監視装置および周辺監視方法
WO2019215789A1 (ja) * 2018-05-07 2019-11-14 三菱電機株式会社 駐車支援装置
CN113752945A (zh) * 2020-05-19 2021-12-07 丰田自动车株式会社 车载显示系统

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715591B2 (en) * 2002-04-24 2010-05-11 Hrl Laboratories, Llc High-performance sensor fusion architecture
JP3785456B2 (ja) * 2002-07-25 2006-06-14 独立行政法人産業技術総合研究所 駅ホームにおける安全監視装置
DE10244148A1 (de) * 2002-09-23 2004-04-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
DE10260555A1 (de) * 2002-12-21 2004-07-01 Eads Radio Communication Systems Gmbh & Co.Kg System zur Hinderniswarnung für spurgeführte Fahrzeuge
US7619626B2 (en) * 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US20050007369A1 (en) * 2003-07-07 2005-01-13 Jiangen Cao Graphic engine for approximating a quadratic Bezier curve in a resource-constrained device
US7142211B2 (en) * 2003-07-07 2006-11-28 Arcsoft, Inc. Graphic engine for fill style transferring in a resource-constrained device
US6876366B2 (en) * 2003-07-07 2005-04-05 Arcsoft, Inc. Graphic engine for handling sub-pixel regions in a resource-constrained device
US7161597B2 (en) * 2003-07-07 2007-01-09 Arcsoft, Inc. Graphic engine for rasterizing a straight edge in a resource-constrained device
JP3936683B2 (ja) * 2003-08-04 2007-06-27 株式会社デンソー 道路位置検出装置及びプログラム
GB0325990D0 (en) * 2003-11-07 2003-12-10 Trw Ltd Method and apparatus for discriminating the colour of road markings
JP3980565B2 (ja) * 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
EP1748654A4 (en) * 2004-04-27 2013-01-02 Panasonic Corp VISUALIZATION OF CIRCUMFERENCE OF A VEHICLE
JP4488804B2 (ja) * 2004-06-23 2010-06-23 株式会社トプコン ステレオ画像の関連付け方法及び３次元データ作成装置
US7593547B2 (en) * 2004-10-12 2009-09-22 Siemens Corporate Research, Inc. Video-based encroachment detection
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP4650079B2 (ja) * 2004-11-30 2011-03-16 日産自動車株式会社 物体検出装置、および方法
US8170284B2 (en) * 2005-01-11 2012-05-01 Pioneer Corporation Apparatus and method for displaying image of view in front of vehicle
US7561732B1 (en) * 2005-02-04 2009-07-14 Hrl Laboratories, Llc Method and apparatus for three-dimensional shape estimation using constrained disparity propagation
ES2259543B1 (es) * 2005-02-04 2007-11-16 Fico Mirrors, S.A. Sistema para la deteccion de objetos en una zona exterior frontal de un vehiculos, aplicable a vehiculos industriales.
JP4341564B2 (ja) * 2005-02-25 2009-10-07 株式会社豊田中央研究所 対象物判定装置
JP4652849B2 (ja) * 2005-03-03 2011-03-16 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
KR100817656B1 (ko) * 2005-03-15 2008-03-31 오므론 가부시키가이샤 화상 처리 방법, 3차원 위치 계측 방법 및 화상 처리 장치
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
TW200829466A (en) * 2007-01-03 2008-07-16 Delta Electronics Inc Advanced bird view visual system
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
TW200829464A (en) * 2007-01-03 2008-07-16 Delta Electronics Inc Bird view visual system with fish eye improvement and method thereof
US8049658B1 (en) * 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
JP4462333B2 (ja) * 2007-11-13 2010-05-12 株式会社デンソー 走行支援装置
EP2240796A4 (en) * 2008-01-22 2012-07-11 Magna Int Inc USE OF A SINGLE CAMERA FOR SEVERAL TRAVEL SUPPORT SERVICES, PARKING AIDS, CLUTCH ASSIST AND TAILGATE PROTECTION
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
US8705792B2 (en) * 2008-08-06 2014-04-22 Toyota Motor Engineering & Manufacturing North America, Inc. Object tracking using linear features
JP5100845B2 (ja) * 2008-10-28 2012-12-19 株式会社パスコ 道路計測装置及び道路計測方法
US8818695B2 (en) 2009-02-23 2014-08-26 Hti Ip, L.L.C. Method for reporting traffic conditions
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5190712B2 (ja) 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
US8965670B2 (en) * 2009-03-27 2015-02-24 Hti Ip, L.L.C. Method and system for automatically selecting and displaying traffic images
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
AU2009348935B2 (en) * 2009-06-30 2015-05-07 Saab Ab A method and an arrangement for estimating 3D models in a street environment
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
GB2472773B (en) * 2009-08-13 2015-01-28 Light Blue Optics Ltd Head up displays
JP5051405B2 (ja) * 2009-11-09 2012-10-17 トヨタ自動車株式会社 距離測定装置、及び距離測定方法
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
US8665116B2 (en) 2010-07-18 2014-03-04 Ford Global Technologies Parking assist overlay with variable brightness intensity
EP2608149B1 (en) * 2010-08-19 2021-04-21 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
JP5690539B2 (ja) 2010-09-28 2015-03-25 株式会社トプコン 自動離着陸システム
JP5389002B2 (ja) * 2010-12-07 2014-01-15 日立オートモティブシステムズ株式会社 走行環境認識装置
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
JP5775354B2 (ja) 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
US8799201B2 (en) 2011-07-25 2014-08-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for tracking objects
JP5787695B2 (ja) 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
WO2013099169A1 (ja) 2011-12-27 2013-07-04 パナソニック株式会社 ステレオ撮影装置
US20130169679A1 (en) * 2011-12-30 2013-07-04 Automotive Research & Test Center Vehicle image display system and correction method thereof
DE102012200731A1 (de) * 2012-01-19 2013-07-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
US20130293678A1 (en) * 2012-05-02 2013-11-07 Harman International (Shanghai) Management Co., Ltd. Virtual navigation system for video
JP5861776B2 (ja) * 2012-05-08 2016-02-16 トヨタ自動車株式会社 俯瞰画像表示装置
CN104285441B (zh) 2012-05-22 2018-01-05 三菱电机株式会社 图像处理装置
US20140093131A1 (en) * 2012-10-01 2014-04-03 Xerox Corporation Visibility improvement in bad weather using enchanced reality
JP2014110028A (ja) * 2012-12-04 2014-06-12 Sony Corp 画像処理装置、画像処理方法およびプログラム
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
US9349056B2 (en) * 2013-02-15 2016-05-24 Gordon Peckover Method of measuring road markings
US10318824B2 (en) * 2014-07-23 2019-06-11 GM Global Technology Operations LLC Algorithm to extend detecting range for AVM stop line detection
DE102015205479A1 (de) 2015-03-26 2016-09-29 Robert Bosch Gmbh Verfahren zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges
DE102015117774A1 (de) * 2015-04-30 2016-11-03 Huf Hülsbeck & Fürst Gmbh & Co. Kg Rückfahrkameraeinrichtung für Kraftfahrzeuge
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム
JP6511406B2 (ja) * 2016-02-10 2019-05-15 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
JP6443418B2 (ja) * 2016-10-03 2018-12-26 トヨタ自動車株式会社 車両運転支援装置
JP6501805B2 (ja) * 2017-01-04 2019-04-17 株式会社デンソーテン 画像処理装置および画像処理方法
IL252769B (en) 2017-06-08 2021-10-31 Israel Aerospace Ind Ltd Method and system for autonomous vehicle navigation
WO2018230095A1 (ja) * 2017-06-15 2018-12-20 日立オートモティブシステムズ株式会社 車両制御装置
CN110753646B (zh) * 2017-06-26 2022-11-25 日立安斯泰莫株式会社 驻车辅助装置
MX2019015816A (es) * 2017-07-07 2020-02-07 Nissan Motor Metodo de asistencia al estacionamiento y dispositivo de asistencia al estacionamiento.
CN109544460A (zh) * 2017-09-22 2019-03-29 宝沃汽车（中国）有限公司 图像矫正方法、装置及车辆
US11245888B2 (en) * 2018-03-19 2022-02-08 Ricoh Company, Ltd. Information processing apparatus, image capture apparatus, image processing system, and method of processing a plurality of captured images of a traveling surface where a moveable apparatus travels
JP7070082B2 (ja) * 2018-05-18 2022-05-18 株式会社デンソー 車載カメラ
US11892818B2 (en) 2018-10-17 2024-02-06 Niagara Bottling, Llc Dock door automation systems and methods
JPWO2020129115A1 (ja) * 2018-12-17 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
US11563928B2 (en) * 2019-11-05 2023-01-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP7452105B2 (ja) * 2020-03-05 2024-03-19 トヨタ自動車株式会社 情報処理装置、情報処理方法及びシステム
US11820290B2 (en) * 2021-04-14 2023-11-21 Niagara Bottling, Llc Trailer alignment detection for dock automation using vision system and dynamic depth filtering
JP2023103837A (ja) * 2022-01-14 2023-07-27 ヤマハ発動機株式会社 水域物体検出システムおよび船舶

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396451A (ja) * 1989-09-11 1991-04-22 Nissan Motor Co Ltd 車両用障害物検出装置
JPH07186833A (ja) * 1993-12-24 1995-07-25 Nissan Motor Co Ltd 車両用周囲状況表示装置
JPH07306037A (ja) * 1994-05-11 1995-11-21 Nippon Soken Inc 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JPH08278126A (ja) * 1995-04-10 1996-10-22 Fujitsu Ltd 距離計測装置
JPH08305999A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 車載用カメラシステム
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58110334A (ja) 1981-12-23 1983-06-30 Hino Motors Ltd 路面視界表示装置
JP2989744B2 (ja) 1994-06-13 1999-12-13 株式会社東芝 測定面抽出装置及びその方法
US5742507A (en) * 1994-11-25 1998-04-21 Itt Automotive Europe Gmbh Driving stability control circuit with speed-dependent change of the vehicle model
DE19539642A1 (de) * 1995-10-25 1996-11-14 Daimler Benz Ag Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug, und Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes
US6192145B1 (en) * 1996-02-12 2001-02-20 Sarnoff Corporation Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points
JP3500024B2 (ja) * 1997-01-07 2004-02-23 三菱重工業株式会社 自動運転システムにおける車両制御方法
US6198852B1 (en) * 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
JP3580475B2 (ja) * 1998-09-14 2004-10-20 矢崎総業株式会社 周辺監視装置
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP2000207693A (ja) * 1999-01-08 2000-07-28 Nissan Motor Co Ltd 車載用障害物検出装置
EP1050866B1 (en) * 1999-04-28 2003-07-09 Matsushita Electric Industrial Co., Ltd. Parking assistance device and method
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US6411867B1 (en) * 1999-10-27 2002-06-25 Fujitsu Ten Limited Vehicle driving support system, and steering angle detection device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396451A (ja) * 1989-09-11 1991-04-22 Nissan Motor Co Ltd 車両用障害物検出装置
JPH07186833A (ja) * 1993-12-24 1995-07-25 Nissan Motor Co Ltd 車両用周囲状況表示装置
JPH07306037A (ja) * 1994-05-11 1995-11-21 Nippon Soken Inc 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JPH08278126A (ja) * 1995-04-10 1996-10-22 Fujitsu Ltd 距離計測装置
JPH08305999A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 車載用カメラシステム
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003091720A (ja) * 2001-07-12 2003-03-28 Nissan Motor Co Ltd 視点変換装置および視点変換プログラムならびに車両用画像処理装置
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP2004213489A (ja) * 2003-01-07 2004-07-29 Nissan Motor Co Ltd 車両用運転支援装置
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
JP2004289386A (ja) * 2003-03-20 2004-10-14 Clarion Co Ltd 画像表示方法、画像表示装置及び画像処理装置
JP2004289681A (ja) * 2003-03-24 2004-10-14 Sharp Corp 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7453489B2 (en) 2003-03-24 2008-11-18 Sharp Kabushiki Kaisha Image processing apparatus, image pickup system, image display system, image pickup display system, image processing program, and computer-readable recording medium in which image processing program is recorded
JP2005186758A (ja) * 2003-12-25 2005-07-14 Equos Research Co Ltd 駐車支援装置
JP2005294954A (ja) * 2004-03-31 2005-10-20 Pioneer Electronic Corp 表示装置及び補助表示装置
JP2005318541A (ja) * 2004-04-02 2005-11-10 Denso Corp 車両周辺監視システム
JP2005347863A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両周囲表示装置及び車両周囲表示方法
JP4556494B2 (ja) * 2004-05-31 2010-10-06 日産自動車株式会社 車両周囲表示装置及び車両周囲表示方法
JP2006048451A (ja) * 2004-08-05 2006-02-16 Toshiba Corp 周辺監視装置および俯瞰画像表示方法
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP2006171964A (ja) * 2004-12-14 2006-06-29 Nissan Motor Co Ltd 画像処理装置、画像処理システム及び画像処理方法
JP4715187B2 (ja) * 2004-12-14 2011-07-06 日産自動車株式会社 画像処理装置及び画像処理システム
JP2006268076A (ja) * 2005-03-22 2006-10-05 Sanyo Electric Co Ltd 運転支援システム
JP2006306241A (ja) * 2005-04-27 2006-11-09 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
US8120665B2 (en) 2005-08-25 2012-02-21 Ricoh Company, Ltd. Image processing method and apparatus, digital camera, and recording medium recording image processing program
JP2007058634A (ja) * 2005-08-25 2007-03-08 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
WO2007023715A1 (en) * 2005-08-25 2007-03-01 Ricoh Company, Ltd. Image processing method and apparatus, digital camera, and recording medium recording image processing program
JP4712487B2 (ja) * 2005-08-25 2011-06-29 株式会社リコー 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP2007067847A (ja) * 2005-08-31 2007-03-15 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP4662258B2 (ja) * 2005-08-31 2011-03-30 株式会社リコー 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
US8174576B2 (en) 2005-09-28 2012-05-08 Nissan Motor Co., Ltd. Vehicle periphery video providing apparatus and method
US8345095B2 (en) 2005-10-07 2013-01-01 Nissan Motor Co., Ltd. Blind spot image display apparatus and method thereof for vehicle
JP2007104538A (ja) * 2005-10-07 2007-04-19 Nissan Motor Co Ltd 車両用死角映像表示装置
JP4687411B2 (ja) * 2005-11-15 2011-05-25 株式会社デンソー 車両周辺画像処理装置及びプログラム
JP2007142545A (ja) * 2005-11-15 2007-06-07 Denso Corp 車両周辺画像処理装置及びプログラム。
JP2007172501A (ja) * 2005-12-26 2007-07-05 Alpine Electronics Inc 車両運転支援装置
JP2007233876A (ja) * 2006-03-02 2007-09-13 Alpine Electronics Inc 複数カメラ撮影画像処理方法及び装置
US8269820B2 (en) 2006-11-02 2012-09-18 Konica Minolta Holdings, Inc. Wide-angle image acquiring method and wide-angle stereo camera device
JPWO2008053649A1 (ja) * 2006-11-02 2010-02-25 コニカミノルタホールディングス株式会社 広角画像取得方法及び広角ステレオカメラ装置
JP2008257502A (ja) * 2007-04-05 2008-10-23 Mitsubishi Electric Corp 車両周辺監視装置
KR100929689B1 (ko) * 2008-09-08 2009-12-03 재단법인대구경북과학기술원 스테레오 영상 정보를 이용한 차량용 사고기록 장치 및 그 제어 방법
KR100997617B1 (ko) 2008-11-20 2010-12-01 재단법인대구경북과학기술원 교통 수단의 사고 기록 장치, 방법 및 시스템
KR100972041B1 (ko) 2009-01-15 2010-07-22 한민홍 카메라를 이용한 장애물 인식방법
JP2010197186A (ja) * 2009-02-25 2010-09-09 Topcon Corp 対象物検出装置
JP2010212857A (ja) * 2009-03-09 2010-09-24 Denso Corp 車両用画像表示装置
JP2010278931A (ja) * 2009-05-29 2010-12-09 Toshiba Corp 画像処理装置
US8988525B2 (en) 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
JP2011048829A (ja) * 2009-08-27 2011-03-10 Robert Bosch Gmbh 車両の運転者に案内情報を提供するためのシステム及び方法
JP2011223582A (ja) * 2010-04-09 2011-11-04 Tektronix Internatl Sales Gmbh 立体画像３次元奥行き測定方法
US9591280B2 (en) 2011-07-29 2017-03-07 Fujitsu Limited Image processing apparatus, image processing method, and computer-readable recording medium
JPWO2014034444A1 (ja) * 2012-08-31 2016-08-08 ソニー株式会社 画像処理装置および画像処理方法、並びに情報処理装置
WO2014034444A1 (ja) * 2012-08-31 2014-03-06 ソニー株式会社 画像処理装置および画像処理方法、並びに情報処理装置
US9600859B2 (en) 2012-08-31 2017-03-21 Sony Corporation Image processing device, image processing method, and information processing device
KR101413231B1 (ko) * 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
WO2016075809A1 (ja) * 2014-11-14 2016-05-19 日産自動車株式会社 表示装置及び表示方法
JPWO2016075809A1 (ja) * 2014-11-14 2017-08-17 日産自動車株式会社 表示装置及び表示方法
JP2017199178A (ja) * 2016-04-27 2017-11-02 Ｋｙｂ株式会社 路面状態検出装置
CN109313021A (zh) * 2016-06-08 2019-02-05 索尼公司 成像控制装置和方法、以及车辆
CN109313021B (zh) * 2016-06-08 2021-10-29 索尼公司 成像控制装置和方法、以及车辆
CN109313018B (zh) * 2016-06-08 2021-12-10 索尼公司 成像控制装置和方法、以及车辆
CN109313018A (zh) * 2016-06-08 2019-02-05 索尼公司 成像控制装置和方法、以及车辆
WO2017212929A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
JPWO2017212927A1 (ja) * 2016-06-08 2019-04-04 ソニー株式会社 撮像制御装置および方法、並びに車両
JPWO2017212929A1 (ja) * 2016-06-08 2019-04-11 ソニー株式会社 撮像制御装置および方法、並びに車両
WO2017212927A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
US11158076B2 (en) 2016-06-08 2021-10-26 Sony Corporation Imaging control device and method, and vehicle
US11108992B2 (en) 2016-06-08 2021-08-31 Sony Corporation Imaging control device and method, and vehicle
US10750093B2 (en) 2017-01-04 2020-08-18 Denso Ten Limited Image processing device and image processing method
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP2019060610A (ja) * 2017-09-22 2019-04-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP2019067150A (ja) * 2017-09-29 2019-04-25 株式会社デンソー 周辺監視装置および周辺監視方法
WO2019215789A1 (ja) * 2018-05-07 2019-11-14 三菱電機株式会社 駐車支援装置
CN113752945A (zh) * 2020-05-19 2021-12-07 丰田自动车株式会社 车载显示系统
CN113752945B (zh) * 2020-05-19 2023-11-21 丰田自动车株式会社 车载显示系统

Also Published As

Publication number Publication date
US7218758B2 (en) 2007-05-15
US20040105579A1 (en) 2004-06-03
DE10296593B4 (de) 2017-02-02
DE10296593T5 (de) 2004-05-06
WO2002080557A1 (en) 2002-10-10
JP4861574B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
JP4861574B2 (ja) 運転支援装置
US9418556B2 (en) Apparatus and method for displaying a blind spot
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
JP5729158B2 (ja) 駐車支援装置および駐車支援方法
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20090268027A1 (en) Driving Assistance System And Vehicle
US20080043113A1 (en) Image processor and visual field support device
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
US8477191B2 (en) On-vehicle image pickup apparatus
US11518390B2 (en) Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP2009129001A (ja) 運転支援システム、車両、立体物領域推定方法
JP5083443B2 (ja) 運転支援装置および方法、ならびに演算装置
EP3761262A1 (en) Image processing device and image processing method
JP3521859B2 (ja) 車両周辺画像処理装置及び記録媒体
JP4720446B2 (ja) 車両検出装置及びこれを用いた車両用表示装置
JP2000293693A (ja) 障害物検出方法および装置
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium
JP2001222800A (ja) 車両用側方監視装置
JP2009077022A (ja) 運転支援システム及び車両
JP6999239B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

R150 Certificate of patent or registration of utility model

Ref document number: 4861574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110927

EXPY Cancellation because of completion of term