JP2014207605A - 車両用画像処理装置 - Google Patents

車両用画像処理装置 Download PDF

Info

Publication number
JP2014207605A
JP2014207605A JP2013084843A JP2013084843A JP2014207605A JP 2014207605 A JP2014207605 A JP 2014207605A JP 2013084843 A JP2013084843 A JP 2013084843A JP 2013084843 A JP2013084843 A JP 2013084843A JP 2014207605 A JP2014207605 A JP 2014207605A
Authority
JP
Japan
Prior art keywords
image
vehicle
photographing
images
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013084843A
Other languages
English (en)
Other versions
JP6024581B2 (ja
JP2014207605A5 (ja
Inventor
丙辰 王
Heishin O
丙辰 王
博彦 柳川
Hirohiko Yanagawa
博彦 柳川
真和 竹市
Masakazu Takeichi
真和 竹市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013084843A priority Critical patent/JP6024581B2/ja
Priority to EP14785250.3A priority patent/EP2988496B1/en
Priority to PCT/JP2014/001973 priority patent/WO2014171100A1/ja
Priority to CN201480021984.XA priority patent/CN105144707B/zh
Publication of JP2014207605A publication Critical patent/JP2014207605A/ja
Publication of JP2014207605A5 publication Critical patent/JP2014207605A5/ja
Application granted granted Critical
Publication of JP6024581B2 publication Critical patent/JP6024581B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮影手段によって撮影された複数の画像を好適に繋ぎ合わせて画像を作成する。
【解決手段】車両周辺の所定範囲を撮影するカメラ11,12と、カメラ11,12により撮影された画像を表示する車載モニタ40とを備えた車両に対して適用され、その車両に搭載される画像処理ユニット30である。画像処理ユニット30は、カメラ11,12により撮影された複数の撮影画像を繋ぎ合わせることにより、車載モニタ40で表示させるための表示画像を作成する。そして、表示画像の作成に際し、該表示画像における複数の撮影画像の繋ぎ合わせ部分の画像同士のずれを算出し、そのずれに基づいて表示画像を補正する。そして、その補正後の表示画像を車載モニタ40に表示させる。
【選択図】 図1

Description

本発明は、車両周辺について撮影された画像を表示装置に表示する車両用画像処理装置に関するものである。
車両周囲の状況を車載カメラで撮影するとともに、その車載カメラで撮影した複数の画像を合成し、その合成後の画像を表示装置に表示する技術が知られている。例えば、車両の前方カメラにより撮影した前方画像と、後方カメラにより撮影した後方画像とを合成して合成画像として鳥瞰画像を作成し、その鳥瞰画像を表示装置に表示させるようにした車両用画像処理装置が知られている(例えば特許文献1)。
特開2003−189292号公報
複数の画像を合成して1つの鳥瞰画像を作成する場合、画像同士の繋ぎ合わせ部分においてずれが生じることが考えられ、そのずれが生じると、表示画像を見たユーザが違和感を覚えたり、同ユーザに路面上の白線の位置などの情報が正しく伝わらなかったりすることが懸念される。画像同士のずれが生じる原因としては、カメラの設置位置や設置方向が画像処理装置側の認識と異なっていることや、複数の画像の属性情報(撮影時の車速等)に誤りがあることで繋ぎ合わせに不備が生じていることなどが考えられる。
本発明は、上記課題に鑑みてなされたものであり、撮影手段によって撮影された複数の画像を好適に繋ぎ合わせて画像を作成することが可能な車両用画像処理装置を提供することを目的とする。
請求項1に記載の発明は、車両周辺の所定範囲を撮影する撮影手段(11,12)と、該撮影手段により撮影された画像を表示する表示手段(14)とを備えた車両に適用され、該車両に搭載される車両用画像処理装置(13)であって、前記撮影手段により撮影された複数の撮影画像を繋ぎ合わせることにより、前記表示手段で表示させるための表示画像を作成する画像作成手段と、前記表示画像の作成に際し、該表示画像における前記複数の撮影画像の繋ぎ合わせ部分の画像同士のずれを算出するずれ算出手段と、前記ずれに基づいて前記表示画像を補正する補正手段と、その補正後の表示画像を前記表示手段に表示させる表示制御手段と、を備えることを特徴とする。
撮影手段によって撮影された複数の撮影画像を繋ぎ合わせて表示画像を作成し、その作成された画像を表示装置に表示する。これにより、一の画像として撮影された範囲より広い範囲を表す画像を表示装置に表示することができる。ここで、撮影手段の設置位置などが初期位置からずれると、画像を繋ぎ合わせるときに二枚の画像間においてずれが生じる。そこで、繋ぎ合わせ部分の画像同士のずれを算出し、その算出されたずれに基づいて、表示画像を補正する。これにより、好適に表示画像を表示手段に表示することが可能になる。
画像表示システムの構成図。 カメラとその撮影範囲を示す図。 透視変換の方法を示す図。 車両周辺画像を示す図。 前方過去画像と後方過去画像の重複領域を示す図。 ずれ算出方法を示す図。 補正の前後における中間領域画像を示す図。 補正後の車両周辺画像を示す図。 画像作成処理を示すフロー図。 第1変形例におけるカメラとその撮影範囲を示す図。 第1変形例における車両周辺画像を示す図。 第2変形例におけるカメラとその撮影範囲を示す図。 第2変形例における車両周辺画像を示す図。 特徴点の周期性に基づくずれ算出処理を示すフロー図。
以下、車両用画像処理装置としての画像処理ユニットを車両(自動車)の画像表示システムに適用した一実施形態について、図面を参照しつつ説明する。
図1に示すように、本画像表示システムは、撮影手段としての前方カメラ11及び後方カメラ12と、それら各カメラ11,12の撮影データが入力される画像処理ユニット13と、画像処理ユニット13により作成された表示用画像を表示する表示手段としての車載モニタ14とを有している。
前方カメラ11及び後方カメラ12は、車両の前側及び後側にそれぞれ取り付けられており、前方カメラ11により車両前方の所定範囲が撮影され、後方カメラ12により車両後方の所定範囲が撮影される。これら各カメラ11,12は、広角範囲での撮影が可能な広角カメラであり、例えば車両前方及び車両後方において180度の視野角で撮影可能となっている。各カメラ11,12は、CCDイメージセンサやCMOSイメージセンサによる撮影を行うデジタル撮影方式のカメラである。
より具体的には、図2に示すように、車両Cには、例えばルーフ部分の前側部に前方カメラ11が取り付けられるとともに、ルーフ部分の後側部に後方カメラ12が取り付けられている。そして、前方カメラ11は前方範囲R1を撮影し、後方カメラ12は後方範囲R2を撮影する。前方範囲R1と後方範囲R2とは車両Cの前方及び後方に並んでいる。このため、車両Cが前進する場合には、前方カメラ11によって前方範囲R1として撮影された範囲が、車両Cの前進に伴い、後方カメラ12によって後方範囲R2として撮影される。また、車両Cが後退する場合には、後方カメラ12によって後方範囲R2として撮影された範囲が、車両Cの後退に伴い、前方カメラ11によって前方範囲R1として撮影される。なお、前方カメラ11及び後方カメラ12は、いずれも車両Cの前後方向に延びる同一線上(中心線X1上)に配置されており、その中心線X1を撮影中心として車両前方及び車両後方を撮影する。
前方カメラ11はそれよりも車両後方側の撮影が不可であり、後方カメラ12はそれよりも車両前方側の撮影が不可である。そのため、車両Cの左右の側方部は、両カメラ11,12の視野外となる範囲R3(中間領域)となっている。
また、各カメラ11,12は、水平方向よりも下向きで車両前方、車両後方をそれぞれ撮影し、地上面の撮影が可能になっている。したがって、各カメラ11,12により撮影された画像には、地上平面上(路面上)における白線等のマーキング画像が含まれるようになっている。
図1の説明に戻り、車載モニタ14は、車室内においてユーザが運転中に視認可能な位置、例えばインパネ部に設けられている。車載モニタ14の形状及び大きさは任意でよいが、本実施形態では、自車両を中心としてその前後両方の領域を含む範囲で車両周辺画像を車載モニタ14に表示することから、車載モニタ14の表示画面に縦長の表示エリアが設定されている(図4参照)。なお、車載モニタ14には、車両周辺画像以外の情報を表示することが可能であり、車載モニタ14に車両周辺画像を表示しない場合には、その表示画面に車両前方画像(例えば車両前方の暗視画像)や、撮影画像以外の各種情報が表示されるとよい。
画像処理ユニット13は、各カメラ11,12の撮影データを合成して表示用画像を作成し、その表示用画像を車載モニタ14に表示させる画像処理装置である。画像処理ユニット13は、前方カメラ11の撮影データを入力する第1変換回路21と、後方カメラ12の撮影データを入力する第2変換回路22とを有しており、これら各変換回路21,22は、前方カメラ11及び後方カメラ12の各撮影データについてそれぞれ透視変換を行い、鳥瞰画像を作成する。鳥瞰画像は、各カメラ11,12の撮影範囲を上空位置から鉛直方向に見下ろした状態の俯瞰画像である。各変換回路21,22により、それぞれ前方鳥瞰画像、後方鳥瞰画像が作成される。
各カメラ11,12は、所定時間ごとに車両前方及び車両後方をそれぞれ撮影するものであり、各変換回路21,22によれば、所定時間ごとに車両前方の鳥瞰画像と車両後方の鳥瞰画像とが得られるようになっている。
各変換回路21,22における透視変換について補足の説明をする。図3に示すように、地上面から高さhの位置に設けられた前方カメラ11で地上面を撮影する場合、撮影画像として、カメラ位置から所定の焦点距離fにあるスクリーン平面T上の撮影画像が得られる。この場合、前方カメラ11が地上平面を撮影することは、地上平面座標からスクリーン平面T上の二次元座標への透視変換が実行されることと等しい。そこで、各変換回路21,22では、各カメラ11,12によって撮影された撮影画像に対して、上記透視変換と逆の透視変換を行うことで、スクリーン平面T上の座標から地上平面上の座標への変換を行い、それにより地上面上の画像である鳥瞰画像(図3のPの範囲の平面画像)を作成する。
各変換回路21,22により作成された鳥瞰画像の画像データはCPU23に入力される。CPU23は、前方鳥瞰画像と後方鳥瞰画像とに基づいて車両周辺画像を作成する。この車両周辺画像は、各変換回路21,22での変換後の画像と同様、鳥瞰画像として作成される。
本実施形態の画像表示システムでは、自車両の周辺(車両側方)にカメラ視野外の範囲R3が含まれるため、そのカメラ視野外の範囲R3については、前方カメラ11の撮影画像(前方鳥瞰画像)、及び後方カメラ12の撮影画像(後方鳥瞰画像)のいずれかの過去画像を用いることとしている。そして、過去画像を用いて車両周辺画像を作成するための構成として、画像処理ユニット13は、過去画像を記憶する画像メモリ24を有している。また、車両Cは、車速を検出する車速センサ16と、ヨーレイト(旋回方向への回転角の変化速度)を検出するヨーレイトセンサ17とを備えている。
車速センサ16及びヨーレイトセンサ17の検出信号はCPU23に逐次入力される。CPU23は、これら各センサ16,17の検出信号に基づいて、車両の走行状態である車速及びヨーレイトを算出する。このとき要は、各カメラ11,12での撮影時における車両の走行状態が把握できればよく、車両Cの移動距離及び回転角、或いは車両Cの位置及び向きが算出されればよい。また、CPU23は、所定時間ごとに、前方鳥瞰画像の過去画像と後方鳥瞰画像の過去画像とを、画像撮影時の車両Cの走行情報(車速やヨーレイト)に対応付けて画像メモリ24に記憶する。
車両周辺画像を作成する場合に、車両が前進しているのであれば、カメラ視野外の範囲R3の画像として、前方カメラ11により過去に撮影された撮影画像(前方過去画像)が画像メモリ24から読み出される。そして、各カメラ11,12による今現在の撮影画像(前方現在画像及び後方現在画像)と前方過去画像とにより車両周辺画像が作成される。また、車両が後退しているのであれば、カメラ視野外の範囲R3の画像として、後方カメラ12により過去に撮影された撮影画像(後方過去画像)が画像メモリ24から読み出される。そして、各カメラ11,12による今現在の撮影画像(前方現在画像及び後方現在画像)と後方過去画像とにより車両周辺画像が作成される。
車両周辺画像の作成に際し、CPU23は、前方現在画像と後方現在画像と前方過去画像(又は後方過去画像)とを、同一平面上において車両前後方向に並べて配置し繋ぎ合わせる。このとき、今現在の車両Cの走行状態(車速やヨーレイト)と、過去画像が撮影された時の車両Cの走行状態(車速やヨーレイト)とに基づいて、過去画像の平行移動及び回転(ユークリッド変換)を行い、各画像を一画像として合成する。
図4は、車載モニタ14の表示画面に表示される車両周辺画像を示す図である。同表示画面においては、前方表示領域A1と後方表示領域A2と中間表示領域A3とが定められており、前方表示領域A1には、前方カメラ11により撮影された前方現在画像が表示され、後方表示領域A2には、後方カメラ12により撮影された後方現在画像が表示され、中間表示領域A3には、前方過去画像及び後方過去画像のいずれかが表示される。図4においては、車両の前進時が想定され、中間表示領域A3には前方過去画像が表示されている。説明の便宜上、図4では、車両進行方向をy方向、それに直交する方向をx方向としている(後述の図5等も同様)。なお、各表示領域A1〜A3のy方向の長さ寸法は全て同じであってもよいし、各々異なっていてもよい。中間表示領域A3だけが、他領域よりもy方向の長さ寸法が短い構成であってもよい。
中間表示領域A3には、表示画面の中央となる位置に自車両画像G1が表示されている。この自車両画像G1は、前方過去画像(又は後方過去画像)に重複する位置に表示されている。車両周辺画像中に自車両画像G1が表示されることで、ユーザが自車両を基準として周囲の状況(相対的な位置関係)を把握しやすくなるようになっている。また、図4の車両周辺画像には、撮影画像の情報として、路面上に引かれた白線等のマーキングが示されている。ここでは、車両Cが駐車場を走行する場合を想定しており、車両右側には車両走行方向に延びる直線画像G2が表示され、車両左側には駐車区画ごとに付された区画線画像G3が表示されている。
ここで、車載モニタ14の各表示領域A1〜A3に各々表示される画像がずれなく適正に繋ぎ合わされていれば、図4(a)に示すように車両走行方向において直線画像G2が一直線に繋がることとなる。また、区画線画像G3については、隣合う区画線画像G3同士の間隔、すなわち駐車スペースの幅W1が均等になるとともに、区画線画像G3が複数の駐車スペースの並び方向に幅を有している場合に、その幅W2が均等になる。
しかしながら、各カメラ11,12の取り付けの状態や車両の走行状態によっては、各表示領域A1〜A3における表示画像の繋ぎ合わせ部分でずれが生じることが考えられる。すなわち、各カメラ11,12の取り付け誤差に起因してカメラ撮影方向がずれていると、各変換回路21,22で変換した鳥瞰画像を繋ぎ合わせる際に、図4のx方向及びy方向の少なくともいずれかでずれが生じる。また、車速センサ16やヨーレイトセンサ17で検出される車両走行状態が、実際の車両走行状態と異なっている場合には、過去画像の平行移動及び回転が適正に行われず、やはり画像繋ぎ合わせ部分でのずれが生じる。車両走行状態の検出誤差が生じる要因としては、車両挙動の過渡変化に正しく追従できないことや、タイヤのスリップにより車速が誤検出されること等が考えられる。
こうした画像繋ぎ合わせ部分におけるずれは、異なるカメラの撮影画像同士が繋ぎ合わされる部位で生じやすい。つまり、車両Cの前進時には、後方表示領域A2に表示される後方現在画像と、中間表示領域A3に表示される前方過去画像との繋ぎ合わせ部分でずれが生じやすく、車両Cの後退時には、前方表示領域A1に表示される前方現在画像と、中間表示領域A3に表示される後方過去画像との繋ぎ合わせ部分でずれが生じやすい。
図4(b)には、後方表示領域A2に表示される後方現在画像と、中間表示領域A3に表示される前方過去画像との繋ぎ合わせ部分でずれが生じている状態を示している。すなわち、図4(b)では、直線画像G2についてx方向のずれが生じている。また、区画線画像G3についてy方向のずれが生じており、その結果、画像繋ぎ合わせ部分における区画線画像G3だけが、他の区画線画像G3に比べてy方向に潰れた状態(W2が小さくなった状態)となっている。
そこで、本実施形態においては、各画像の繋ぎ合わせ部分におけるずれを算出するとともに、そのずれに基づいて画像の補正を行うことで、車両周辺画像を適正に作成するようにしている。
まずは、画像繋ぎ合わせ部分におけるずれ算出について説明する。なおここでは、車両Cの前進時を想定している。
車両の前進時には、上述したとおり後方表示領域A2に表示される後方現在画像と、中間表示領域A3に表示される前方過去画像との繋ぎ合わせ部分でずれが生じやすくなっており、その表示領域A2及びA3の境界部分に、後方現在画像と前方過去画像とが重複して重ね合わされる重複領域が設定される。具体的には、図5に示すように、前方過去画像のy方向の長さ寸法は、中間表示領域A3のy方向の長さ寸法よりも大きくなっており、前方過去画像を中間表示領域A3に配置すると、その前方過去画像の一部が後方表示領域A2に重ねられる。この場合、後方表示領域A2には、中間表示領域A3との境界部分に重複領域Apが定められており、その重複領域Apには前方過去画像と後方現在画像とが重複して配置される。
CPU23は、重複領域Apで互いに重ね合わされた2つの画像について特徴点を抽出し、同じ形態の特徴点同士を比較することで、画像同士のずれを算出する。例えば、路面上のマーキング画像を特徴点として抽出し、その特徴点周辺の輝度の分布などの特徴量を比較することで、画像同士のずれを算出する。
ずれ算出について図6を用いてより具体的に説明する。図6には、後方表示領域A2に表示される後方現在画像と、中間表示領域A3に表示される前方過去画像とを示しており、ここでは便宜上、それらを「A2画像」、「A3画像」と称する。A2画像及びA3画像では、重複領域Apでの重複部分において画像同士の比較によりx方向及びy方向のずれがそれぞれ算出される。この場合、A2画像及びA3画像を重ね合わせた状態で、特徴点としての直線画像G2がx方向にずれていれば、そのずれ分がx方向のずれとして算出される。
また、A2画像及びA3画像について、後方表示領域A2と中間表示領域A3との境界線BLを基準として、特徴点としての区画線画像G3のy方向長さb1,b2がそれぞれ算出され、それらb1,b2の比較により、y方向のずれが算出される。
なお、車両の後退時には、上記とは異なり、前方表示領域A1及び中間表示領域A3の境界部分に重複領域Apが設定され、その重複領域Apにおいて、前方現在画像と後方過去画像との重なり部分により画像同士のずれが算出される。
また、CPU23は、重複領域Apでの画像同士のずれに基づいて過去画像(前方過去画像又は後方過去画像)を補正対象として補正パラメータを算出し、その補正パラメータを用いて、過去画像に対して透視変換による補正を実施する。この場合、重複領域Apにおいて、現在画像の特徴点と過去画像の特徴点とがx方向にずれている場合は、そのx方向に過去画像を伸縮させるように透視変換を実施する。また、現在画像の特徴点と過去画像の特徴点とがy方向にずれている場合は、そのy方向に過去画像を伸縮させるように透視変換を実施する。
本実施形態では、中間表示領域A3のy方向の両端のうち一方の端部にのみ重複領域Apが設定されており、重複領域Ap側でのずれに基づいて、中間表示領域A3での過去画像の全体が補正されるようになっている。この場合、ずれが算出されていない側の端部については、画像が伸縮されないようにして補正が行われる。つまり、中間表示領域A3のy方向の両端のうち重複領域Ap側では補正量=最大、その反対側では補正量=0として、透視変換による補正が行われる。
具体的には、図7に示すように、重複領域Apでのx方向のずれがc1、y方向のずれがc2である場合に、重複領域Ap側でのx方向の補正量=c1、y方向の補正量=c2として、矩形状の補正前画像が台形状に透視変換される。この場合、特に、x方向の補正として、境界線BL上でc1分だけ伸縮(図7では伸張)される。また、y方向の補正として、境界線BL上でc2分だけ伸縮(図7では収縮)される。
図8に示すように、透視変換による補正に伴って、補正後A3画像における直線画像G2はy方向と鋭角を為すように変換され、A1画像における直線画像G2とA2画像における直線画像G2とが結ばれる。つまり、A1画像における直線画像G2とA2画像における直線画像G2の繋がりが保たれつつ、A3画像における直線画像G2とA2画像における直線画像G2とのずれが解消される。また、補正前(図4(b))と比較すると、後方表示領域A2と中間表示領域A3との境界線BL上において、A3画像における区画線画像G3は車両方向前方にc2だけ移動している。この移動に伴って、後方表示領域A2と中間表示領域A3との境界線BLを基準として、補正後A3画像における区画線画像G3の位置と後方表示領域A2における区画線画像G3の位置とが等しくなるため、境界線BLにおける区画線画像G3のゆがみが解消されている。
また、車載モニタ14に表示された車両周辺画像について白線等のずれが支障となり得るのは、自車両が比較的低い速度で走行している場合であり、具体的には駐車場内を走行している場合が想定される。駐車場での走行時には、所望の駐車区画内に自車両を駐車させるために、路面上のマーキングを注視することが多いとも考えられる。そこで本実施形態では、車両が所定の低速状態で走行している場合に、鳥瞰画像である車両周辺画像を車載モニタ14に表示させるようにしている。
本実施形態における画像作成処理のフローチャートを図9に示す。この画像作成処理は、画像処理ユニット13のCPU23によって所定周期ごとに実施される。
まずステップS10では、自車両の車速とヨーレイトとを取得する。続くステップS11では、自車両が所定の低速走行状態にあるか否かを判定する。具体的には、今現在の車速が所定値(例えば、30km/h)以下か否かを判定する。なお、ステップS11において、ナビゲーション装置の情報等から、今現在、駐車場内の走行中であるか否かを判定するようにしてもよい。そして、ステップS11がNOであれば、処理を終了する。ステップS11が否定される場合、車載モニタ14には、ナビゲーション情報や走行状態情報など、車両周辺画像以外の情報画像が表示される。
駐車時において、ユーザは白線などの目標物を基準にして車両を操作するため、画像にずれが生じていると車両と目標物との把握が困難になる。そこで、車両が駐車されようとしている場合に、画像の補正を行い補正後の画像を車載モニタ14に表示することで、ユーザに対して好適に情報を提示することが可能となる。なお、画像処理ユニット13が、車両に搭載されているGPSセンサから車両の位置を取得して、車両が駐車されようとしていると判定する構成としてもよい。
また、ステップS11がYESであればステップS12に進み、第1変換回路21及び第2変換回路22による変換後の鳥瞰画像(前方現在画像及び後方現在画像)を取得する。このとき、前方現在画像及び後方現在画像を、それぞれ作業用メモリに一時記憶するとともに、画像メモリ24に過去画像として記憶する。画像メモリ24への記憶は、その時の車速やヨーレイトといった車両走行状態に対応付けた上で行われる。
その後、ステップS13では、自車両が前進状態にあるか否かを判定する。この判定は、例えば車両変速装置のシフト位置に基づいて実施される。自車両が前進状態にあればステップS14に進み、自車両が後退状態にあればステップS16に進む。ステップS14では、画像メモリ24から、中間表示領域A3に表示する画像として前方過去画像を読み出す。この場合、画像メモリ24には時系列で複数の前方過去画像が記憶されており、そのうちから今回使用する画像が車速に基づいて決定されるとよい。また、ステップS15では、後方表示領域A2と中間表示領域A3との境界部分に重複領域Apを設定する。
一方、ステップS16では、画像メモリ24から、中間表示領域A3に表示する画像として後方過去画像を読み出す。この場合、画像メモリ24には時系列で複数の後方過去画像が記憶されており、そのうちから今回使用する画像が車速に基づいて決定されるとよい。また、ステップS17では、前方表示領域A1と中間表示領域A3との境界部分に重複領域Apを設定する。
その後、ステップS18では、ステップS11で取得した前方現在画像及び後方現在画像と、ステップS14又はS16のいずれかで取得した前方過去画像又は後方過去画像とを同一平面上に配置して一画像として合成することで、車両周辺画像を作成する。このとき、過去画像の撮影時点の車両走行情報と今現在の車両走行状態とに基づいて、各画像の合成(繋ぎ合わせ)が実施される。
その後、ステップS19では、重複領域Apでの画像同士のずれを算出する。続くステップS20では、画像同士のずれに基づいて車両周辺画像の補正を実施する。このとき、中間表示領域A3に表示される過去画像を対象にして画像補正を実施する。ステップS21では、補正後の車両周辺画像を車載モニタ14に出力して処理を終了する。
以下、本実施形態の効果について述べる。
カメラ11,12によって撮影された複数の撮影画像を繋ぎ合わせて表示画像を作成し、その作成された画像を車載モニタ14に表示する。これにより、一の画像として撮影された範囲より広い範囲を表す画像を車載モニタ14に表示することができる。ここで、例えば、カメラ11,12の設置位置などが初期位置からずれると、画像を繋ぎ合わせるときに二枚の画像間においてずれが生じる。そこで、繋ぎ合わせ部分の画像同士のずれを算出する。具体的には、前方現在画像及び中間領域画像の繋ぎ合わせ部分と、後方現在画像及び中間領域画像の繋ぎ合わせ部分との少なくともいずれかで画像同士のずれを算出する。そして、その算出されたずれに基づいて、表示画像を補正する。これにより、好適に表示画像を車載モニタ14に表示することが可能になる。
重複領域Apにおいて画像同士を重複させ、重複領域Apでの画像同士のずれを算出する。これにより、各画像の並び方向(y方向)及びそれに直交する方向(x方向)のいずれの方向についてもずれの算出を容易に実施できる。特に、各画像の並び方向(y方向)のずれについて算出することが容易になる。そして、その算出されたずれに基づいて補正を行うことで好適に画像同士を繋ぎ合わせることが可能になる。
複数のカメラ11,12による複数の撮影画像を繋ぎ合わせる場合に、カメラ11,12の取り付け誤差に起因してカメラ撮影方向がずれると、撮影画像の繋ぎ合わせ部分においてずれが生じる。そこで、異なる複数のカメラ11,12によって撮影された撮影画像について、繋ぎ合わせ部分の画像同士のずれに基づいて表示画像を補正することで、好適に表示画像を車載モニタ14に表示することが可能になる。
車両の走行状態に基づいて、複数の画像を繋ぎ合わせる場合に、取得した走行状態が適切でない場合、過去画像と現在画像との繋ぎ合わせにおいてずれが生じることになる。そこで、過去画像と現在画像とにおける画像同士のずれを算出して、そのずれに基づいて表示画像を補正することで、取得した走行状態が適切でない場合であっても好適にその画像を表示することが可能になる。
車両の前進時か後退時かを判定するとともに、車両の前進時には、表示領域A2及びA3の境界部分に重複領域Apを設定し、車両の後退時には、表示領域A1及びA3の境界部分に重複領域Apを設定する構成とした。これにより、3画像が車両周辺画像として合成される構成において、画像同士のずれが生じやすい部位でずれの算出及び補正を実施できる。この場合、ずれ算出及び補正により演算負荷が過剰に増えることを抑制できる。
画像全体を補正対象とする構成とすることで、ユーザに対して与える違和感を軽減することができる。ただし、ずれの検出対象でない端部について補正を行うと、補正を行うことでかえって画像同士にずれが生じることになる。そこで、画像全体を補正対象としつつ、ずれの検出対象とされていない端部に変化がないように補正を実施することで、補正によってかえってずれが生じるという不都合を解消することができる。
(他の実施形態)
上記実施形態を例えば次のように変更してもよい。
・上記実施形態では、中間表示領域A3のy方向の両端のうち一方の端部にのみ重複領域Apを設定し、重複領域Ap側でのずれに基づいて、中間表示領域A3の過去画像を補正する構成としたが、これを以下のように変更してもよい。中間表示領域A3のy方向の両端にそれぞれ重複領域Apを設定し、各重複領域Ap側でのずれに基づいて、中間表示領域A3の過去画像を補正する。つまり、例えば車両前進時には、前方現在画像と前方過去画像とのずれを算出するとともに、前方過去画像と後方現在画像とのずれを算出し、それら両方のずれに基づいて前方過去画像を補正する。
・上記実施形態では、複数の撮影手段(前方カメラ11、後方カメラ12)を用い、かつ現在画像と過去画像とを合成することで、車両周辺画像を作成する構成としたが、これを以下の第1変形例、第2変形例のように変更してもよい。
(第1変形例)
複数の撮影手段により各々撮影された複数の現在画像を合成することで、車両周辺画像を作成する。この場合、過去画像は用いない。具体的には、図10に示すように、車両に前方撮影用の第1カメラ31と、右側方撮影用の第2カメラ32と、左側方撮影用の第3カメラ33とが設けられている。そして、それら各カメラ31〜33の撮影画像が画像処理ユニット13に入力される。画像処理ユニット13における画像変換処理等は上記と同様である。各カメラ31〜33の撮影範囲は、それぞれ前方範囲R11、右側方範囲R12、左側方範囲R13であり、前方範囲R11と右側方範囲R12とが一部重複し、前方範囲R11と左側方範囲R13とが一部重複している。なお、図10では各カメラの視野角を180度よりも小さくしているが、その角度は任意であり、図2と同様に視野角=180度であってもよい。
図11は、車載モニタ14の表示画面に表示される車両周辺画像を示す図である。同表示画面においては、自車両画像G1の後方を除く部位の車両周辺画像が表示されている。そして、その自車両画像G1の周りに、前方表示領域A11と右側方表示領域A12と左側方表示領域A13とが定められており、それら各表示領域に、第1〜第3カメラ31〜33の現在撮影画像が表示される。なお、左右の側方表示領域A12,A13には網掛けを付している。
この場合、表示領域A11及びA12の境界部分、表示領域A11及びA13の境界部分では、各々異なるカメラでの撮影画像が繋ぎ合わされ、その繋ぎ合わせ部分で画像同士のずれが生じることが考えられる。この点、各カメラの31〜33の撮影範囲が重複しており、そのために前方表示領域A11用の撮影画像と、側方表示領域A12,A13用の撮影画像とが重複領域(図のハッチング部分)を有している。そこで、CPU23は、画像の重複領域で画像同士のずれを算出するとともに、そのずれに基づいていずれかの画像を補正する。補正に関しては、例えば右側方表示領域A12の表示画像、左側方表示領域A13の表示画像を補正対象にして、透視変換による補正が実施されるとよい。
なお、複数のカメラにより各々撮影された複数の現在画像を合成して車両周辺画像を作成する構成として、上記以外に、前方用カメラと右側方用のカメラ(又は左側方用のカメラ)との2つの撮影画像を合成する構成や、前後及び左右の4つのカメラの撮影画像を合成する構成が考えられる。
複数のカメラ31〜33によって撮影された画像を繋ぎ合わせることで、車載モニタ14において、一のカメラで撮影された画像を表示する場合に比べてより広い領域を表示することが可能になる。ここで、カメラ31〜33の撮影領域が重複している場合に、その重複領域において画像同士のずれを検出し、そのずれに基づいて画像を補正することで、繋ぎ合わせた後の画像を好適に表示することができる。特に、いずれか一方のカメラの設置位置が初期位置から変化して、正しく画像を繋ぎ合わせることができないような場合に、当該補正によって正しく画像を表示できるようになる。
(第2変形例)
1つの撮影手段により撮影された現在画像と過去画像とを合成することで、車両周辺画像を作成する。具体的には、図12に示すように、車両に前方撮影用の前方カメラ41が設けられている。そして、その前方カメラ41の撮影画像が画像処理ユニット13に入力される。画像処理ユニット13における画像変換処理等は上記と同様である。前方カメラ41の撮影範囲R21は、例えば図2に示す前方範囲R1と同じであるとよい。画像処理ユニット13では、車両前方の撮影画像が、車両走行状態に対応付けて過去画像として画像メモリに逐次記憶される(図1の構成と同様)。
図13は、車載モニタ14の表示画面に表示される車両周辺画像を示す図である。同表示画面においては、自車両画像G1の前方となる位置に前方表示領域A21が定められるとともに、自車両画像G1の側方となる位置に側方表示領域A22が定められており、それら各表示領域に、現在画像と過去画像とがそれぞれ表示される。この場合、CPU23は、表示領域A21及びA22の境界部分において、現在画像と過去画像とを一部重複させた状態で繋ぎ合わせ、その重複領域(図のハッチング部分)で画像同士のずれを算出するとともに、そのずれに基づいていずれかの画像を補正する。補正に関しては、例えば過去画像を補正対象にして、透視変換による補正が実施されるとよい。
なお、図13では、1つの現在画像と1つの過去画像とを用いて車両周辺画像を作成する構成としているが、これ以外に、1つの現在画像と2つ(又は2つ以上)の過去画像とを用いて車両周辺画像を作成する構成としてもよい。この場合、過去画像を用いて車両後方の画像を作成する構成にするとよい。画像の補正に関しては、過去画像同士の繋ぎ合わせ部分についてもずれを算出し、そのずれを解消する補正を実施するとよい。
・上記実施形態では、重複領域Apでの画像の特徴点を比較してずれを算出し、その算出されたずれの量に基づいて補正を行う構成とした。これに加えて、現在画像及び過去画像における特徴点の周期性に基づいて画像のずれを算出し、その算出されたずれの量に基づいて補正を行う構成としてもよい。
図14に特徴点の周期性に基づくずれの算出処理のフロー図を示す。この処理は、画像処理ユニット13によって、図9に示す画像作成処理におけるステップS19で行われる。
ステップS30において、車両の周囲を表示する表示画像において、それぞれ同一の形状及び大きさを有しかつ車両走行方向に並んで配置された複数の撮影対象の画像(繰り返し画像)が含まれているか否かを判定する。そして、表示画像中に繰り返し画像が含まれている場合(S30:YES)、ステップS31において、画像同士の繋ぎ合わせ部分で撮影対象の形状及び大きさの少なくともいずれかが、当該繋ぎ合わせ部分以外における撮影対象の形状及び大きさと相違しているか否かを判定する。そして、繋ぎ合わせ部分において撮影対象の形状及び大きさの相違が生じている旨判定された場合(S31:YES)、ステップS32において、撮影対象の形状及び大きさの相違に基づいてずれを算出して処理を終了する。
車両の前方及び後方を含む範囲で車両の周囲を鳥瞰画像で表示する場合には、車両走行方向に沿って、同一の形状及び大きさを有する撮影対象が所定間隔ごとに繰り返し現れることがある。この場合、上記構成によれば、こうした撮影対象を含む表示画像(鳥瞰画像)において、車両走行方向の前側とそれよりも後方の側とで、形状や大きさが相違するといった不都合を抑制できる。
例えば、図4のように複数の駐車区画ごとに白線が引かれている駐車場において、それら駐車区画の並び方向に車両を走行させる場合には、撮影対象としての白線が所定間隔ごとに繰り返し現れることになる。かかる場合に、各画像の繋ぎ合わせ部分で白線の形状及び大きさのいずれかが、他と相違していてもそれを解消できる。これにより、いずれも同一の形状及び大きさを有する白線を、実際と同様の形態で表示させることが可能となる。
・複数の画像についていずれを補正対象にするかを決定する手段を備える構成としてもよい。例えば、表示画像の作成に用いる複数の撮影画像のうちいずれかの撮影画像の取得時に所定レベルを超える車両振動が生じていた場合には、その画像について誤差が生じている可能性が高いため、その画像を補正対象にする。
・上記実施形態では、画像同士の重複部分におけるずれに基づいて過去画像を補正する構成としたが、現在画像を補正する構成としてもよい。また、現在画像と過去画像とを共に補正する構成としてもよい。
・ヨーレイトセンサ17によって検出されるヨーレイトが所定値より大きい場合に、画像の補正を行う構成としてもよい。ヨーレイトが大きいほど、車両位置の実際値と算出値とに差が生じ易く、画像間のずれが生じ易いため、好適に画像を補正することができる。
・車両の位置及び向きは、それぞれGPSセンサや、デジタルコンパスから取得する構成としてもよい。
11…前方カメラ(撮影手段)、12…後方カメラ(撮影手段)、13…画像処理ユニット(車両用画像処理装置、画像作成手段、ずれ算出手段、補正手段、表示制御手段)、14…車載モニタ(表示手段)。

Claims (9)

  1. 車両周辺の所定範囲を撮影する撮影手段(11,12)と、該撮影手段により撮影された画像を表示する表示手段(14)とを備えた車両に適用され、該車両に搭載される車両用画像処理装置(13)であって、
    前記撮影手段により撮影された複数の撮影画像を繋ぎ合わせることにより、前記表示手段で表示させるための表示画像を作成する画像作成手段と、
    前記表示画像の作成に際し、該表示画像における前記複数の撮影画像の繋ぎ合わせ部分の画像同士のずれを算出するずれ算出手段と、
    前記ずれに基づいて前記表示画像を補正する補正手段と、
    その補正後の表示画像を前記表示手段に表示させる表示制御手段と、
    を備えることを特徴とする車両用画像処理装置。
  2. 前記画像作成手段は、前記複数の撮影画像の繋ぎ合わせ部分で画像同士を重複させるものであり、
    前記ずれ算出手段は、前記複数の撮影画像のうち重複した部分の対比により前記ずれを算出することを特徴とする請求項1に記載の車両用画像処理装置。
  3. 前記車両は、前記撮影手段として撮影範囲がそれぞれ異なる複数の撮影装置(11,12)を備え、
    前記画像作成手段は、前記複数の撮影装置によってそれぞれ撮影された前記複数の撮影画像を繋ぎ合わせるものであることを特徴とする請求項1又は2に記載の車両用画像処理装置。
  4. 前記撮影手段の撮影時における車両走行状態を取得する状態取得手段と、
    前記撮影画像が過去画像として記憶される記憶手段と、
    を備え、
    前記画像作成手段は、前記状態取得手段により取得した走行状態に基づいて、前記記憶手段に記憶されている過去画像と前記撮影手段により撮影されている現在画像とを繋ぎ合わせて前記表示画像を作成し、
    前記ずれ算出手段は、前記過去画像と前記現在画像とにおける画像同士のずれを算出する請求項1乃至3のいずれか1項に記載の車両用画像処理装置。
  5. 前記車両は、前記撮影手段として、車両前方を撮影範囲とする前方撮影装置(11)と、車両後方を撮影範囲とする後方撮影装置(12)とを有しており、それら両撮影装置の撮影画像を用い、前記車両を囲む範囲を車両周辺画像により前記表示手段に表示させる車両用画像処理装置であって、
    前記車両の周囲には、前記両撮影装置のいずれの撮影範囲でもなく、かつそれらの撮影範囲の間となる中間領域(R3)が存在しており、
    前記画像作成手段は、前記中間領域の画像である中間領域画像として前記両撮影装置のうち車両走行方向の前側となる方の撮影装置の過去画像を用い、前記前方撮影装置の撮影画像と前記後方撮影装置の撮影画像と前記中間領域画像とを繋ぎ合わせることにより、前記車両周辺画像を前記表示画像として作成し、
    前記ずれ算出手段は、前記前方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分と、前記後方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分との少なくともいずれかで画像同士のずれを算出することを特徴とする請求項4に記載の車両用画像処理装置。
  6. 前記車両が前進状態にあるか後退状態にあるかを判定する判定手段を備え、
    前記画像作成手段は、前記車両が前進及び後退のいずれの状態にあるかに基づいて、前記前方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分と、前記後方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分とのいずれかにおいて画像を重複させ、
    前記ずれ算出手段は、前記重複が行われた画像の繋ぎ合わせ部分で前記ずれを算出することを特徴とする請求項5に記載の車両用画像処理装置。
  7. 前記補正手段は、前記前方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分と、前記後方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分とのいずれかで前記画像同士のずれを算出し、前記中間領域画像において、前記ずれの算出を行った側の端部では前記ずれを減少させ、かつ、その反対側の端部では変化がないように変換を行うことで前記補正を実施することを特徴とする請求項5又は6に記載の車両用画像処理装置。
  8. 前記撮影画像において、それぞれ同一の形状及び大きさを有しかつ車両走行方向に並んで配置された複数の撮影対象(G3)が前記撮影画像に含まれている場合に、前記撮影画像同士の繋ぎ合わせ部分で前記撮影対象の形状及び大きさの少なくともいずれかが、当該繋ぎ合わせ部分以外における前記撮影対象の形状及び大きさと相違していることを判定する相違判定手段を備え、
    前記補正手段は、前記繋ぎ合わせ部分において前記撮影対象の形状及び大きさの相違が生じている旨判定された場合に、その相違を解消すべく前記表示画像を補正することを特徴とする請求項5乃至7のいずれか1項に記載の車両用画像処理装置。
  9. 前記車両は、前記撮影手段として撮影範囲が一部重複する複数の撮影装置(31,32,33)を備え、
    前記ずれ算出手段は、撮影範囲が重複している画像同士のずれを算出することを特徴とする請求項1乃至8のいずれか1項に記載の車両用画像処理装置。
JP2013084843A 2013-04-15 2013-04-15 車両用画像処理装置 Active JP6024581B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013084843A JP6024581B2 (ja) 2013-04-15 2013-04-15 車両用画像処理装置
EP14785250.3A EP2988496B1 (en) 2013-04-15 2014-04-07 Vehicular image processing device
PCT/JP2014/001973 WO2014171100A1 (ja) 2013-04-15 2014-04-07 車両用画像処理装置
CN201480021984.XA CN105144707B (zh) 2013-04-15 2014-04-07 车辆用图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013084843A JP6024581B2 (ja) 2013-04-15 2013-04-15 車両用画像処理装置

Publications (3)

Publication Number Publication Date
JP2014207605A true JP2014207605A (ja) 2014-10-30
JP2014207605A5 JP2014207605A5 (ja) 2015-08-13
JP6024581B2 JP6024581B2 (ja) 2016-11-16

Family

ID=51731063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013084843A Active JP6024581B2 (ja) 2013-04-15 2013-04-15 車両用画像処理装置

Country Status (4)

Country Link
EP (1) EP2988496B1 (ja)
JP (1) JP6024581B2 (ja)
CN (1) CN105144707B (ja)
WO (1) WO2014171100A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016053942A (ja) * 2014-09-02 2016-04-14 株式会社デンソー 車両用画像処理装置
JP2019080186A (ja) * 2017-10-25 2019-05-23 アルパイン株式会社 画像処理装置およびその方法
JP2019215702A (ja) * 2018-06-13 2019-12-19 株式会社Subaru 画像処理装置
JPWO2020245927A1 (ja) * 2019-06-04 2020-12-10

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018036729A1 (de) * 2016-08-23 2018-03-01 Siemens Aktiengesellschaft Überwachen einer anzeige eines führerstands eines verkehrsmittels
JP6572862B2 (ja) * 2016-10-14 2019-09-11 株式会社デンソー 表示制御装置
EP3451279A1 (en) * 2017-08-30 2019-03-06 SMR Patents S.à.r.l. Rear view mirror simulation
JP6939580B2 (ja) * 2018-01-10 2021-09-22 株式会社デンソー 車両用画像合成装置
JP2021532382A (ja) * 2018-07-30 2021-11-25 ポニー エーアイ インコーポレイテッド 車載型車両カメラを較正するシステムおよび方法
TWI705011B (zh) 2019-03-12 2020-09-21 緯創資通股份有限公司 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189292A (ja) * 2001-12-18 2003-07-04 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2007288282A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 車両周辺監視装置
JP2010109452A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189292A (ja) * 2001-12-18 2003-07-04 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2007288282A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 車両周辺監視装置
JP2010109452A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016053942A (ja) * 2014-09-02 2016-04-14 株式会社デンソー 車両用画像処理装置
JP2019080186A (ja) * 2017-10-25 2019-05-23 アルパイン株式会社 画像処理装置およびその方法
JP7109715B2 (ja) 2017-10-25 2022-08-01 アルパイン株式会社 画像処理装置およびその方法
JP2019215702A (ja) * 2018-06-13 2019-12-19 株式会社Subaru 画像処理装置
JPWO2020245927A1 (ja) * 2019-06-04 2020-12-10
WO2020245927A1 (ja) * 2019-06-04 2020-12-10 日本電信電話株式会社 画像処理方法、画像処理装置、画像処理システムおよびプログラム
JP7168895B2 (ja) 2019-06-04 2022-11-10 日本電信電話株式会社 画像処理方法、画像処理装置、画像処理システムおよびプログラム

Also Published As

Publication number Publication date
EP2988496A4 (en) 2016-12-21
CN105144707B (zh) 2018-10-26
CN105144707A (zh) 2015-12-09
JP6024581B2 (ja) 2016-11-16
WO2014171100A1 (ja) 2014-10-23
EP2988496B1 (en) 2018-02-28
EP2988496A1 (en) 2016-02-24

Similar Documents

Publication Publication Date Title
JP6024581B2 (ja) 車両用画像処理装置
US8139114B2 (en) Surroundings monitoring apparatus and surroundings monitoring method for reducing distortion caused by camera position displacement
JP6028848B2 (ja) 車両の制御装置、及びプログラム
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
CN109948398B (zh) 全景泊车的图像处理方法及全景泊车装置
JP5190712B2 (ja) 障害物検出装置
WO2016002163A1 (ja) 画像表示装置、画像表示方法
US20130010119A1 (en) Parking assistance apparatus, parking assistance system, and parking assistance camera unit
US20100171828A1 (en) Driving Assistance System And Connected Vehicles
WO2014034364A1 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP2008013015A (ja) 車両周辺画像生成装置および画像切替方法
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
JP3765862B2 (ja) 車両用環境認識装置
RU2617895C2 (ru) Система для определения угла сцепки между транспортным средством и прицепом
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2007049276A (ja) 車載パノラマカメラシステム
JP3961969B2 (ja) 車両周辺画像処理システム
JP5226621B2 (ja) 車両用画像表示装置
WO2016047037A1 (ja) 車両用画像処理装置
JP4905812B2 (ja) カメラ校正装置
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
US20160176340A1 (en) Perspective shifting parking camera system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160926

R151 Written notification of patent or utility model registration

Ref document number: 6024581

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250