JP2010200240A - 車両周囲俯瞰画像表示装置及び方法 - Google Patents

車両周囲俯瞰画像表示装置及び方法 Download PDF

Info

Publication number
JP2010200240A
JP2010200240A JP2009045675A JP2009045675A JP2010200240A JP 2010200240 A JP2010200240 A JP 2010200240A JP 2009045675 A JP2009045675 A JP 2009045675A JP 2009045675 A JP2009045675 A JP 2009045675A JP 2010200240 A JP2010200240 A JP 2010200240A
Authority
JP
Japan
Prior art keywords
image
vehicle
bird
overhead
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009045675A
Other languages
English (en)
Other versions
JP5068779B2 (ja
Inventor
Hiroshi Nakamura
浩 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Japan R&D Center Inc
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Japan R&D Center Inc
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Japan R&D Center Inc, Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Japan R&D Center Inc
Priority to JP2009045675A priority Critical patent/JP5068779B2/ja
Priority to KR1020090022041A priority patent/KR101000438B1/ko
Priority to US12/570,613 priority patent/US8384782B2/en
Publication of JP2010200240A publication Critical patent/JP2010200240A/ja
Application granted granted Critical
Publication of JP5068779B2 publication Critical patent/JP5068779B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/80
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Abstract

【課題】比較的簡便且つ処理負荷をかけることなく、繋ぎ目付近の立体障害物を運転者が容易に認識できるようにする車両周囲俯瞰画像表示装置を提供する。
【解決手段】車両の周囲を撮像する複数の車載カメラと、カメラ撮影画像に対してレンズ歪み補正処理、視点変換処理、表示領域切出し処理、及び切出された表示領域を繋ぎ合成して車両周囲の俯瞰画像を作成する合成手段を含む画像変換処理手段と、俯瞰画像を運転者及び乗員に提示する表示手段と、を備え、さらに前記画像変換処理手段は、路面レベル(第1の基準高)に加えて、前記路面レベルより順次高い第2乃至第(n+1)の基準高(nは1以上の整数)に対して前記俯瞰画像を順次作成して第1乃至第(n+1)の俯瞰画像とするための基準高切替手段を含む、ことを特徴とする。
【選択図】図7

Description

本発明は、複数の車載カメラで撮影した画像に対して画像変換処理を行い、それらを合成して俯瞰画像表示する車両周囲俯瞰画像表示装置及び方法に係り、より詳細には、画像の繋ぎ目付近に立体障害物が存在する場合に障害物をより認識し易くした車両周囲俯瞰画像表示装置及び方法に関する。
複数の車載カメラで撮影された画像を用い、俯瞰画像として表示するに際し、歪み補正、視点変換、表示領域切出し処理を含む画像変換処理を実施し、それらを繋ぎ合成表示することで車両周囲の状況を1つの連続した俯瞰画像として表示する各種の方法が知られている。
しかしながら、立体障害物が車両の近辺に存在すると、俯瞰画像上では一般に路面に「倒れこんだ」画像となって、路面上の模様(交通標識)等との区別が困難になる。特に、立体障害物が画像の繋ぎ目上、又はその近辺に存在すると、隣接するカメラによる立体障害物の画像が異なる方向に「倒れこんで」重畳し、障害物としての認識が益々困難になる。
この問題に対して、特許文献1には、隣接するカメラ画像による俯瞰画像の繋ぎ目に、異なる方向に「倒れこんで」重畳した立体障害物の画像が存在する場合は、繋ぎ目付近のスムージング処理(ブレンド処理)を避けてそのまま表示して運転者の注意を喚起する技術が記載されている。(後述の図5(C)を参照)
この方法によれば繋ぎ目付近のスムージング処理がなされていないので、俯瞰画像の肝心な箇所が乱れたままになり、障害物の認識度が却って低下する恐れがある。
また、特許文献2には、例えば図1(A)〜(E)に示すように、自車両20自身を含む自車両周辺の俯瞰画像1の路面5における繋ぎ目70の位置を、連続的もしくは断続的に変更する技術が記載されている。
この場合、車両周辺に障害物が無い場合でも繋ぎ目位置の変更処理をリアルタイムで実施しなければならず、処理負荷が増大する。
また、特許文献3には、ハンドル舵角センサ、車速センサ、シフト位置センサなどの情報から車両の挙動を判断して最適になるように、俯瞰画像表示の繋ぎ目位置を水平面、即ち路面上で変更している。この場合、車両周辺に障害物が無い場合でも繋ぎ目位置の変更処理をリアルタイムで実施しなければならず、処理負荷が増大する。
また、特許文献4には、車載用ソナーによって俯瞰画像表示の繋ぎ目位置に障害物が存在することが検知された場合、俯瞰画像表示の繋ぎ目位置を水平面、即ち路面上で変更している。この場合、車載用ソナーを装備しなければならない上に処理負荷がさらに増大する。
以上、特許文献2〜4を通じて、繋ぎ目の位置が移動するに連れて、繋ぎ目の一方の画像は「倒れこみ」が益々大きく表示され、他方の画像は「倒れこみ」の上部から消えていく(カットされていく)ので、障害物の認識度は必ずしも向上しない。
さらに特許文献1〜4の技術を通じて、一般に車両周囲俯瞰画像表示装置において合成画像の繋ぎ目付近に存在する立体障害物は繋ぎ目で連続的に繋がらない場合、繋がっても歪んでいる場合、或いは全く表示されない場合があり、障害物の認識度は必ずしも向上しない。
特開2002−019556号公報 特開2006−121587号公報 特開2007−036668号公報 特開2007−041791号公報
本発明の目的は、このような問題を解決するために、比較的簡便且つ処理負荷をかけることなく、繋ぎ目付近の立体障害物を運転者が容易に認識できるようにする車両周囲俯瞰画像表示装置及び方法を提供することにある。
上記目的を達成するため、請求項1に係る本発明による車両周囲俯瞰画像表示装置は、 車両の周囲を撮像するための複数の車載カメラと、 前記車載カメラによるそれぞれの撮影画像に対するレンズ歪み補正手段、視点変換手段、表示領域切出し手段、及び前記切出された表示領域を繋ぎ車両周囲の俯瞰画像を作成する合成手段を含む画像変換処理手段と、
前記俯瞰画像を運転者又は乗員に提示する車載の表示手段と、を備える車両周囲俯瞰画像表示装置であって、
前記画像変換処理手段は、路面レベル(第1の基準高)に加えて、前記路面レベルより順次高い第2乃至第(n+1)の基準高(nは1以上の整数)に対して前記俯瞰画像を順次作成して第1乃至第(n+1)の俯瞰画像とするための基準高切替手段を含む、ことを特徴とする。
上記目的を達成するため、請求項6に係る本発明による車両周囲俯瞰画像表示方法は、 複数の車載カメラにより車両の周囲を撮像するステージと、 前記車載カメラによるそれぞれの撮影画像に対するレンズ歪み補正ステップ、視点変換ステップ、表示画像切出しステップ、及び前記切出された表示画像を繋ぎ車両周囲の俯瞰画像を作成する合成ステップを含む画像変換処理ステージと、 前記俯瞰画像を車載の表示手段により運転者又は乗員に提示する表示ステージと、を備える車両周囲俯瞰画像表示方法であって、
前記画像処理ステージは、路面レベル(第1の基準高)に加えて、前記路面レベルより順次高い第2乃至第(n+1)の基準高(nは1以上の整数)に対して前記俯瞰画像を順次作成して第1乃至第(n+1)の俯瞰画像とするための基準高切替ステップを含む、ことを特徴とする。
本発明によれば、車両周囲俯瞰画像表示において、繋ぎ目付近に立体障害物を検知した場合、表示領域切出し処理を、路面レベル(第1の基準高)に加えて、単数又は複数の相異なる有限の基準高に対して実施し、得られた複数の俯瞰画像を切替え表示することができるので、繋ぎ目付近の立体障害物の認識が容易になる。
(A)〜(E)は、従来技術による、俯瞰画像の様々な繋ぎ目位置を示す図である。 本発明の実施の形態の一例に係る車両周囲俯瞰画像表示装置の構成図である。 画像変換処理のうち、レンズ歪み補正処理と視点変換処理の例を示す図であり、(A)(B)(C)は各々、撮影原画像、レンズ歪み補正処理後の画像、及び視点変換処理後の画像である。 一般的な車両周囲の上方からの車両周囲の俯瞰画像の作成の場合の例であり手順を説明するため、(A)(B)は各々、視点変換処理後の4面の画像を自車両の4周に配した図と、合成した上方俯瞰画像を示す図である。 (A)は図4において自車両の左前方近傍に立体障害物が存在する場合の関係画像を抽出したものであり、(B)(C)は各々、その場合の2つの、従来技術による車両周囲俯瞰画像処理方法を示す図である。 (A)〜(E)は、本発明に係る、図4において自車両の左前方近傍に立体障害物が存在する場合の車両周囲俯瞰画像処理方法を示す図である。 (A)(B)は、本発明に係る、図4において自車両の左前方近傍に立体障害物が存在する場合の車両周囲画像処理方法とその効果を要約して示す図である。 本発明の実施の形態の一例に係る車両周囲俯瞰画像表示方法の手順図である。
図2に、本発明の実施の形態の一例に係る車両周囲俯瞰画像表示装置の構成を示す。
本装置は、自車両の前後左右の側部に取り付けた複数の車載カメラ11と、車載の表示手段15と、操作スイッチ16と、画像変換処理手段14とを備え、さらにメモリ13を備える。
複数の車載カメラ11は車両の周囲を撮像し、車載の表示手段15は画像情報を運転者及び乗員に提示し、画像変換処理手段14は、車載カメラによるそれぞれの撮影画像に対してレンズ歪み補正処理、視点変換処理、表示領域切出し処理、及び合成処理を含む画像変換処理を実施し、切出した表示領域を繋ぎ、合成することで車両周囲の俯瞰画像を作成し、さらに、基準高を順次切替えて俯瞰画像を作成し、車載の表示手段15に表示させる。
そのため、画像変換処理手段14は、レンズ歪み補正手段81、視点変換手段82、表示領域切出し手段83、合成処理手段84に加えて、基準高切替手段85を備える。
ここで、メモリ13は少なくとも画像変換処理手段14で用いる各種のLUT(Look_Up_Table)を記憶する。
さらに本装置は選択的に障害物検知手段12を備えることができ、障害物検知手段12は車両周囲の俯瞰表示領域内に存在する立体障害物、特に人や物体などの立体物を検知する。
障害物検知手段12は、赤外線や超音波センサを含んでいてもよく、車載カメラ11の撮影画像を利用するソフトウェアであってもよい。
さらに本装置は選択的に操作スイッチ16を備えることができる。操作スイッチ16は運転者の操作により表示手段15の表示モードを後述のように切り替えることができる。
図3に画像変換処理手段14による画像変換処理のうち、レンズ歪み補正処理と視点変換処理の例を示す。
図3(A)は、広角レンズを備えた車載カメラによる撮影原画像30である。撮影原画像30は一般に破線で示した格子線38で示すように、中央部が拡大され周辺部が縮小される形に歪んでいる。
図3(B)は、画像変換処理手段14の備えるレンズ歪み補正手段81によるレンズ歪み補正処理後の画像40である。
このレンズ歪み補正処理に当たっては、メモリ13に記憶させた専用のLUTを使った画素座標変換を行なう。
補正処理後の画像40は、路面5上の縦横の仮想座標線49が示すように、自車両の(前後左右の)側部に備えたカメラの視点による遠近法に従った形に補正されている。(格子線38と座標線49は一般に別のものであることに留意)
図3(C)は、画像変換処理手段14の備える視点変換手段82による視点変換処理後の路面画像50を示す。視点変換処理後の路面画像50は、視点が自車両側部から自車両上方に変更されており、仮想座標線49は路面5上の仮想直交座標線59に変換されている。
この視点変換処理に当たっても、メモリ13に記憶させた専用のLUTを使った画素座標変換を行なう。
なお、破線で囲んだ表示領域58は、後述する、切出し処理される表示領域に相当する。
図4は、車両上方からの車両周囲の俯瞰画像の作成の場合の例であり、
図4(A)に、画像変換処理手段14の備える表示領域切出し手段83による表示画像切出し処理を示す。
図4(A)は、前後左右の側部の4つのカメラ11a〜11dによる撮影原画像を車両上方の1つの視点に変換して得られた視点変換処理後の路面画像51〜54を、自車両20の4周に配したものである。画像51〜54は、各々の切出し処理された表示領域61〜64が明確になるように、便宜上少しずらしてある。
図4(B)に、画像変換処理手段14の備える合成手段84により作成された、この場合、上方俯瞰画像60を示す。
図4(A)における表示領域61〜64は隣接する境界、例えば71aと71c、が接触するように合成される。
図4(B)で、例えば境界71aと71cが接触して繋ぎ目71が得られ、同様にして繋ぎ目72〜74が得られる。
なお、ここでは詳細に説明しないが、切出し処理された表示領域61〜64の画像は一般に特に隣接する表示領域との境界付近で明度差が生じるので、合成に際しては、図4(A)に示す画像51〜54の重複領域の情報を利用して、繋ぎ目71〜74の各々の近傍でスムージング処理(ブレンド処理)を行なって、明度差を軽減する。
このように車両周囲俯瞰画像表示装置は、通常、車両が接地する路面を合成の基準とする。これは路面上の交通標識、例えば駐車領域を示す白線枠や、道路面上の車線を示す白線と自車両との位置関係が俯瞰画像から把握できるように表現する為である。このため、駐車枠に合わせて駐車する場合や特に狭い道路での走行・すれ違いにおいて便利な画像を提供できる。
しかしながら、図4(B)に示すように、合成画像の繋ぎ目付近に存在する立体障害物25は、カメラ撮影原画像と、その後の画像変換処理の精度にもよるが、一般に繋ぎ目で連続的に繋がらないことがあり、さらに状況によっては異様に変形して「倒れ込んだ」表示になるか、又は逆に全く表示されないことがある。
これを、図5を参照して、立体障害物25が自車両の左前方にある柱状物である場合について具体的に説明する。
立体障害物が他の位置に有る場合、及び、柱以外の、特に人間などの立体物である場合も同様に扱える。
図5(A)は、図4(A)において立体障害物25が存在する場合の関係画像を抽出したものである。立体障害物25は(視点変換処理後の)前方画像51、左方画像53においては、各々、(図で)左側方、前方に延びる立体障害物画像26、27として表示されている。
図5(B)は、通常の、上記の切出し処理された表示領域61〜64のみを用いた場合の上方俯瞰画像60であり、この場合の立体障害物合成画像28は、立体障害物画像26、27のうち、各々表示領域61、63に含まれた部分の和として表示され、上述のように、繋ぎ目での不連続、異様な変形、消失等を引き起こし、障害物の認識を妨げていた。
図5(C)は、このような状況において2つの立体障害物画像26、27を無修正で重畳表示して立体障害物合成画像29として表示した場合である。(上述の背景技術を参照のこと)
図5(C)においては、立体障害物合成画像29を見落とす危険は減らせるが、この「倒れ込んだ鋏」状の、立体障害物合成画像29から直ちに人や柱を認識するのは困難であった。
これらの問題に対処するためになされた本発明では、上記図3(C)の視点変換処理後の路面画像50が、路面上(第1の基準高)の情報だけではなく、立体障害物と認識される物体に関しては、有限の基準高の情報を含むことに着目する。
そこで本発明に係る画像変換処理手段14の備える基準高切替手段85は、俯瞰画像の合成に当たり、基準高1を従来の路面自身とし、路面より高い基準高2、基準高2より高い基準高3、・・・基準高nより高い基準高(n+1)と、複数(n+1)個の基準高を設定し(nは1以上の整数)、これらの基準高を順次切替えて表示領域切出し手段83及び合成手段84に与え、対応する第1〜第(n+1)の俯瞰画像を合成させる。
こうして得られた俯瞰画像の切替え表示は、ある一定の時間間隔を置いて自動的に実行される。
上記のように選択的に操作スイッチ16がある場合は、自車両20の運転者が表示手段15に表示された俯瞰画像60において繋ぎ目にかかる立体障害物合成画像28を認識した場合は、運転者は操作スイッチ16を操作して基準高切替手段を手動で起動できる。
また、上記のように選択的に障害物検知手段12がある場合、障害物検知手段12が俯瞰画像60の繋ぎ目にかかる立体障害物合成画像28を検知すると、基準高切替手段は自動的に起動され、その場合、操作スイッチ16は必要ではない。
基準高は具体的には例えば、基準高1を路面(GL、Ground_Level)、基準高2を路面から15cm、基準3を路面から30cmとするが、これに限られない。
自車両20の左前方の繋ぎ目付近に立体障害物が存在する場合について例示する。
図6(A)(B)を参照すると、上述のように、左方と前方の視点変換処理後の路面画像53、51には、立体障害物画像27、26が現れ、各々、表示領域63、61に部分的に含まれる。
本発明に係る表示画像切出し手段83が、路面画像53、51を路面レベル(第1の基準高)で処理して切り出すと、上述のように表示領域63、61が得られたが、路面レベルより高いレベル(第2の基準高)で処理して切り出すと、表示領域63a、61aを得、この部分だけを切り出すと、図6(C)(D)を得る。
一般に、表示領域63a、61aの範囲は表示領域63、61よりも基準高に相応して広く、表示領域63a、61a内の立体障害物の部分画像27a、26aの和は、表示領域63、61内の立体障害物の部分画像を合成した画像28(図5(B)参照)よりも大きくなる。
本発明に係る表示画像切出し手段83は、切出した表示領域63a、61aを各画素の路面上の位置が表示領域63、61のそれと一致するように縮小変換して63b、61bとし(63b、61bの外形は63、61と合同になる)、これらを本発明に係る合成手段84が合成して、図6(E)の基準高2に対する上方俯瞰画像60bを得る。
図6(E)における立体障害物の部分画像27b、26bは繋ぎ目71において、実質的に(即ち、画像変換に伴う誤差の範囲内で)接触し、それらを合成して形成した「松葉」状の立体障害物合成画像28aは依然として基準高1における立体障害物合成画像28より大きく、消失しにくいので、障害物としての認識が容易になる。
図7は、以上の説明に基づく本発明の要点を表わす図であり、(A)は基準高が路面5のレベル、即ち第1の基準高55の場合、(B)は有限の基準高である第2の基準高55aの場合であり、(C)(D)は各々に対応する俯瞰画像である。
図7(C)と(D)を交互に切り替えて表示することにより、運転者の立体障害物に対する認識をさらに向上できる。
さらに、3つ以上の基準高に対して俯瞰画像を順次切り替えて表示することにより、運転者の立体障害物に対する認識をさらに向上できる。
本発明に係る車両周囲俯瞰画像表示方法は、複数の車載カメラにより車両の周囲を撮像するステージと、画像変換処理ステージと、前記俯瞰画像を車載の表示手段により運転者又は乗員に提示する表示ステージとを備える。
ここで画像変換処理ステージは、車載カメラによるそれぞれの撮影画像に対するレンズ歪み補正ステップ、視点変換ステップ、表示領域切出しステップ、及び切出された表示領域を繋ぎ車両周囲の俯瞰画像を作成する合成ステップを含む。
さらに画像変換処理ステージは、路面レベル(第1の基準高)に加えて、路面レベルより順次高い第2乃至第(n+1)の基準高(nは1以上の整数)に対して俯瞰画像を順次作成して第1乃至第(n+1)の俯瞰画像とする基準高切替ステップを含む。
図8に、本発明の実施の形態の一例に係る車両周囲俯瞰画像表示方法の手順を示す。
本方法は、複数の車載カメラにより車両の周囲を撮像するステージS10と、画像変換処理ステージS20と、前記俯瞰画像を車載の表示手段により運転者又は乗員に提示する表示ステージS30とを備える。
ここで画像変換処理ステージS20は、車載カメラによるそれぞれの撮影画像に対するレンズ歪み補正ステップS21、視点変換ステップS22、表示領域切出しステップS23、及び切出された表示領域を繋ぎ車両周囲の俯瞰画像を作成する合成ステップS24に加えて、基準高切替ステップS25を含む。
このうち、撮像するステージS10、レンズ歪み補正ステップS21〜合成ステップS24、及び表示ステージS30については、上述の車両周囲俯瞰画像表示装置の実施の形態で述べたことと実質的に重複するので、説明を省略する。
基準高切替ステップS25は、S24で合成された俯瞰画像の基準高を判別して、表示ステージS30に出力すると共に、基準高を切替えて表示領域切出しステップS23に戻り、路面レベル(第1の基準高)に加えて、路面レベルより順次高い第2乃至第(n+1)の基準高(nは1以上の整数)に対応する第1乃至第(n+1)の俯瞰画像を順次作成させる。
1 俯瞰画像
5 路面
11、11a〜11d 車載カメラ
12 障害物検知手段
13 LUT記憶メモリ
14 画像変換処理手段
15 表示手段
16 操作スイッチ
20 自車両、自車両画像
25 立体障害物
26、27 立体障害物画像
28、28a、29 立体障害物合成画像
26a、27a、26b、27b 立体障害物の部分画像
30 撮影原画像
38 格子線
40 レンズ歪み補正処理後の画像
49 仮想座標線
50、51〜54 視点変換処理後の路面画像
55、55a 第1、第2の基準高
58、61〜64、61a〜64a、61b〜64b 表示領域
59 仮想直交座標線
60、60b 上方俯瞰画像
70、71〜74 繋ぎ目
71a、71c 境界

Claims (6)

  1. 車両の周囲を撮像するための複数の車載カメラと、
    前記車載カメラによるそれぞれの撮影画像に対するレンズ歪み補正手段、視点変換手段、表示領域切出し手段、及び前記切出された表示領域を繋ぎ車両周囲の俯瞰画像を作成する合成手段を含む画像変換処理手段と、
    前記俯瞰画像を運転者又は乗員に提示する車載の表示手段と、
    を備える車両周囲俯瞰画像表示装置であって、
    前記画像変換処理手段は、路面レベル(第1の基準高)に加えて、前記路面レベルより順次高い第2乃至第(n+1)の基準高(nは1以上の整数)に対して前記俯瞰画像を順次作成して第1乃至第(n+1)の俯瞰画像とするための基準高切替手段を含む、ことを特徴とする車両周囲俯瞰画像表示装置。
  2. 前記画像変換処理手段において、
    前記レンズ歪補正手段は、広角レンズにより生じる歪をレンズ歪み補正用の変換テーブル(Look_Up_Table、以下、LUTと略す)を参照して補正し、
    前記視点変換手段は、前記レンズ歪補正処理後の画像を、車両上方からの視点の画像に、視点変換用のLUTを参照して変換し、
    前記表示領域切出し手段は、前記視点変換後の画像から、前記第1乃至第(n+1)の基準高に対応する表示領域切出し用の第1乃至第(n+1)のLUTを参照して、第1乃至第(n+1)の表示領域を切出し、
    前記合成手段は、前記第1乃至第(n+1)の表示領域を各々繋ぎ、合成して、前記第1乃至第(n+1)の俯瞰画像とすることを特徴とする請求項1に記載の車両周囲俯瞰画像表示装置。
  3. 車両周囲の立体障害物を検知する障害物検知手段を備える車両周囲俯瞰画像表示装置であって、
    前記俯瞰画像の少なくとも1つの繋ぎ目にかかる立体障害物の存在が、前記障害物検知手段により検知されない間は前記第1の俯瞰画像を表示し、前記障害物検知手段により検知された場合は前記基準高切替手段が稼動することを特徴とする請求項1に記載の車両周囲俯瞰画像表示装置。
  4. 前記運転者の操作により俯瞰画像の表示を切替える操作スイッチを備える車両周囲俯瞰画像表示装置であって、
    前記俯瞰画像の少なくとも1つの繋ぎ目にかかる立体障害物の存在が、前記運転者により認識されない間は前記第1の俯瞰画像を表示し、前記運転者により認識され、前記運転者が前記操作スイッチを操作した場合は前記基準高切替手段が稼動することを特徴とする請求項1に記載の車両周囲俯瞰画像表示装置。
  5. 車両周囲の立体障害物を検知する障害物検知手段と、前記運転者の操作により俯瞰画像の表示を切替える操作スイッチとを備える車両周囲俯瞰画像表示装置であって、
    前記俯瞰画像の少なくとも1つの繋ぎ目にかかる立体障害物の存在が、前記障害物検知手段により検知されず且つ前記運転者により認識されない間は前記第1の俯瞰画像を表示し、前記障害物検知手段により検知された場合は又は前記運転者により認識され、且つ前記運転者が前記操作スイッチを操作した場合は前記基準高切替手段が稼動することを特徴とする請求項1に記載の車両周囲俯瞰画像表示装置。
  6. 複数の車載カメラにより車両の周囲を撮像するステージと、
    前記車載カメラによるそれぞれの撮影画像に対するレンズ歪み補正ステップ、視点変換ステップ、表示画像切出しステップ、及び前記切出された表示画像を繋ぎ車両周囲の俯瞰画像を作成する合成ステップを含む画像変換処理ステージと、
    前記俯瞰画像を車載の表示手段により運転者又は乗員に提示する表示ステージと、
    を備える車両周囲俯瞰画像表示方法であって、
    前記画像処理ステージは、路面レベル(第1の基準高)に加えて、前記路面レベルより順次高い第2乃至第(n+1)の基準高(nは1以上の整数)に対して前記俯瞰画像を順次作成して第1乃至第(n+1)の俯瞰画像とするための基準高切替ステップを含む、ことを特徴とする車両周囲俯瞰画像表示方法。
JP2009045675A 2009-02-27 2009-02-27 車両周囲俯瞰画像表示装置及び方法 Expired - Fee Related JP5068779B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009045675A JP5068779B2 (ja) 2009-02-27 2009-02-27 車両周囲俯瞰画像表示装置及び方法
KR1020090022041A KR101000438B1 (ko) 2009-02-27 2009-03-16 차량 주위 부감 화상 표시장치 및 방법
US12/570,613 US8384782B2 (en) 2009-02-27 2009-09-30 Apparatus and method for displaying bird's eye view image of around vehicle to facilitate perception of three dimensional obstacles present on a seam of an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009045675A JP5068779B2 (ja) 2009-02-27 2009-02-27 車両周囲俯瞰画像表示装置及び方法

Publications (2)

Publication Number Publication Date
JP2010200240A true JP2010200240A (ja) 2010-09-09
JP5068779B2 JP5068779B2 (ja) 2012-11-07

Family

ID=42666890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009045675A Expired - Fee Related JP5068779B2 (ja) 2009-02-27 2009-02-27 車両周囲俯瞰画像表示装置及び方法

Country Status (3)

Country Link
US (1) US8384782B2 (ja)
JP (1) JP5068779B2 (ja)
KR (1) KR101000438B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046593A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
WO2015029110A1 (ja) * 2013-08-26 2015-03-05 日立建機株式会社 作業機械の周囲監視装置
KR101566912B1 (ko) * 2014-08-04 2015-11-13 현대모비스 주식회사 Avm 장치 및 방법

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
EP2608149B1 (en) 2010-08-19 2021-04-21 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
US9113047B2 (en) * 2010-10-22 2015-08-18 Hitachi Construction Machinery Co., Ltd. Peripheral monitoring device for working machine
RU2546547C1 (ru) * 2011-04-13 2015-04-10 Ниссан Мотор Ко., Лтд. Устройство помощи при вождении и способ обнаружения транспортного средства рядом с ним
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
KR101272257B1 (ko) * 2011-08-30 2013-06-19 에스엘 주식회사 차량의 주변 영상 보정 장치 및 방법
MX2014001500A (es) 2011-09-12 2014-05-12 Nissan Motor Dispositivo de deteccion de objeto tridimensional.
DE112012004354T5 (de) * 2011-10-18 2014-07-10 Hitachi Construction Machinery Co., Ltd. Vorrichtung zum Überwachen der Umgebung von Maschinerie
US9124801B2 (en) * 2012-07-26 2015-09-01 Omnivision Technologies, Inc. Image processing system and method using multiple imagers for providing extended view
JP5961472B2 (ja) 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
KR101407119B1 (ko) * 2012-09-03 2014-06-13 멀티펠스 주식회사 초광각 카메라를 이용한 카메라 시스템
CN104871204B (zh) * 2012-11-27 2018-01-26 歌乐株式会社 车载图像处理装置
CN103220548B (zh) * 2013-04-23 2015-07-29 上海纵目科技有限公司 用于全景泊车标定的测试现场及其建设方法
DE102013010233B4 (de) * 2013-06-18 2018-08-30 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2015129280A1 (ja) * 2014-02-26 2015-09-03 京セラ株式会社 画像処理装置および画像処理方法
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
TWI600558B (zh) * 2014-04-01 2017-10-01 Dynamic lane detection system and method
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
CN105321160B (zh) * 2014-05-27 2019-03-22 穆阳 三维立体全景泊车的多摄像头标定方法
EP3057061B1 (en) * 2015-02-16 2017-08-30 Application Solutions (Electronics and Vision) Limited Method and device for the estimation of car egomotion from surround view images
JP6582557B2 (ja) 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
JP6699427B2 (ja) * 2015-11-17 2020-05-27 株式会社Jvcケンウッド 車両用表示装置および車両用表示方法
US10134280B1 (en) 2016-02-23 2018-11-20 Taehyun You Vehicular notifications
WO2017195403A1 (ja) * 2016-05-10 2017-11-16 株式会社Jvcケンウッド 車両用表示装置および車両用表示方法およびプログラム
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
US11443520B2 (en) * 2016-09-16 2022-09-13 Sony Corporation Image processing apparatus, image processing method, and image processing system
JP6572862B2 (ja) 2016-10-14 2019-09-11 株式会社デンソー 表示制御装置
US10594934B2 (en) * 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
KR102551099B1 (ko) 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
KR102053099B1 (ko) * 2018-06-07 2019-12-06 현대오트론 주식회사 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법
US20190141310A1 (en) * 2018-12-28 2019-05-09 Intel Corporation Real-time, three-dimensional vehicle display
US11900696B2 (en) * 2019-08-28 2024-02-13 Toyota Motor Europe Method and system for processing a plurality of images so as to detect lanes on a road
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11037328B1 (en) * 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
CN111800618B (zh) * 2020-07-28 2021-02-23 深圳市巨鑫智能有限公司 倒车图像处理方法和倒车图像处理系统
US11804132B2 (en) 2021-06-10 2023-10-31 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for displaying bird's eye view of a roadway

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003232867A (ja) * 2002-02-12 2003-08-22 Toshiba Corp 物体検出方法及び装置
JP2006121587A (ja) * 2004-10-25 2006-05-11 Nissan Motor Co Ltd 運転支援装置及び俯瞰画像作成方法
JP2006287892A (ja) * 2005-03-09 2006-10-19 Sanyo Electric Co Ltd 運転支援システム
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3192875B2 (ja) * 1994-06-30 2001-07-30 キヤノン株式会社 画像合成方法および画像合成装置
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP4391624B2 (ja) * 1999-06-16 2009-12-24 本田技研工業株式会社 物体認識装置
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
US6734896B2 (en) 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP3269056B2 (ja) 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
JP2002019556A (ja) 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3760118B2 (ja) * 2001-08-01 2006-03-29 株式会社小糸製作所 車両用灯具の照射方向制御装置
EP1291668B1 (en) * 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
KR100866450B1 (ko) 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
WO2004010402A1 (es) * 2002-07-17 2004-01-29 Fico Mirrors, Sa Dispositivo y metodo de vigilancia activa en un perimetro de seguridad de un vehiculo automovil
JP3781370B2 (ja) * 2002-11-19 2006-05-31 本田技研工業株式会社 移動装置
JP3977802B2 (ja) * 2003-12-16 2007-09-19 株式会社東芝 障害物検出装置、障害物検出方法および障害物検出プログラム
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
EP1748654A4 (en) * 2004-04-27 2013-01-02 Panasonic Corp VISUALIZATION OF CIRCUMFERENCE OF A VEHICLE
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
EP1626584A3 (de) * 2004-08-11 2009-04-08 Magna Donnelly GmbH & Co. KG Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems
US20060078162A1 (en) * 2004-10-08 2006-04-13 Dynapel, Systems, Inc. System and method for stabilized single moving camera object tracking
JP3968375B2 (ja) * 2005-02-15 2007-08-29 松下電器産業株式会社 周辺監視装置および周辺監視方法
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
US7782374B2 (en) * 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP4725233B2 (ja) 2005-08-02 2011-07-13 日産自動車株式会社 俯瞰画像表示システム
JP4760831B2 (ja) * 2005-08-02 2011-08-31 日産自動車株式会社 車両周囲監視装置及び車両周囲監視方法
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4818816B2 (ja) * 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
JP4193886B2 (ja) * 2006-07-26 2008-12-10 トヨタ自動車株式会社 画像表示装置
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
DE102006052779A1 (de) * 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
JP4846545B2 (ja) * 2006-11-29 2011-12-28 株式会社デンソー 運転支援装置
EP1931147B1 (en) * 2006-12-04 2019-07-10 Harman Becker Automotive Systems GmbH Apparatus and method for processing an image of a surrounding of a vehicle
JP4859652B2 (ja) * 2006-12-15 2012-01-25 アルパイン株式会社 画像表示装置
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
JP4863922B2 (ja) * 2007-04-18 2012-01-25 三洋電機株式会社 運転支援システム並びに車両
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
JP5133783B2 (ja) * 2008-05-30 2013-01-30 アルパイン株式会社 車載装置
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
JP2010076527A (ja) * 2008-09-25 2010-04-08 Sanyo Electric Co Ltd 操縦支援装置
US9105080B2 (en) * 2008-10-01 2015-08-11 Hi-Key Limited Method and a system for calibrating an image capture device
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP4737317B2 (ja) * 2009-04-14 2011-07-27 株式会社デンソー 車両周辺撮影表示システム
JP2010258691A (ja) * 2009-04-23 2010-11-11 Sanyo Electric Co Ltd 操縦支援装置
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5437855B2 (ja) * 2010-03-02 2014-03-12 パナソニック株式会社 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
KR101395089B1 (ko) * 2010-10-01 2014-05-16 안동대학교 산학협력단 장애물 감지 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003232867A (ja) * 2002-02-12 2003-08-22 Toshiba Corp 物体検出方法及び装置
JP2006121587A (ja) * 2004-10-25 2006-05-11 Nissan Motor Co Ltd 運転支援装置及び俯瞰画像作成方法
JP2006287892A (ja) * 2005-03-09 2006-10-19 Sanyo Electric Co Ltd 運転支援システム
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046593A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
US9715631B2 (en) 2011-09-30 2017-07-25 Panasonic Intellectual Property Management Co., Ltd. Birds-eye-view image generation device, and birds-eye-view image generation method
WO2015029110A1 (ja) * 2013-08-26 2015-03-05 日立建機株式会社 作業機械の周囲監視装置
JPWO2015029110A1 (ja) * 2013-08-26 2017-03-02 日立建機株式会社 作業機械の周囲監視装置
KR101566912B1 (ko) * 2014-08-04 2015-11-13 현대모비스 주식회사 Avm 장치 및 방법
US9864915B2 (en) 2014-08-04 2018-01-09 Hyundai Mobis Co., Ltd. Around view monitoring apparatus and method thereof

Also Published As

Publication number Publication date
KR101000438B1 (ko) 2010-12-13
US8384782B2 (en) 2013-02-26
US20100220190A1 (en) 2010-09-02
JP5068779B2 (ja) 2012-11-07
KR20100098253A (ko) 2010-09-06

Similar Documents

Publication Publication Date Title
JP5068779B2 (ja) 車両周囲俯瞰画像表示装置及び方法
EP2739050B1 (en) Vehicle surroundings monitoring system
EP1916846B1 (en) Device and method for monitoring vehicle surroundings
JP5667629B2 (ja) 車両周辺のモニタ方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
WO2012096058A1 (ja) 画像生成装置
JP5962927B2 (ja) 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2005045602A (ja) 車両用視界モニタシステム
KR101510655B1 (ko) 주변 영상 생성 방법 및 장치
JP2007041791A (ja) 俯瞰画像表示システム及び俯瞰画像の表示方法
JP5966513B2 (ja) 車両の後側方撮影装置
WO2010103588A1 (ja) 運転支援表示装置
JP3980304B2 (ja) 駐車支援装置
JP2008048094A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
WO2011013813A1 (ja) 車載装置および画像処理プログラム
JP5131152B2 (ja) 視覚支援装置
JP2010183234A (ja) 描画装置
JP2012001126A (ja) 車両用周辺監視装置
KR20100005971A (ko) 차량 전방위 감시 시스템
JP2011155651A (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP5235843B2 (ja) 車両周辺監視装置および車両周辺監視方法
JP2007149011A (ja) 車両周辺視認装置
JP6274936B2 (ja) 運転支援装置
JP2012010002A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees