JP2004021307A - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP2004021307A JP2004021307A JP2002171484A JP2002171484A JP2004021307A JP 2004021307 A JP2004021307 A JP 2004021307A JP 2002171484 A JP2002171484 A JP 2002171484A JP 2002171484 A JP2002171484 A JP 2002171484A JP 2004021307 A JP2004021307 A JP 2004021307A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- model
- dimensional projection
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 12
- 230000000630 rising effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 9
- 230000002194 synthesizing effect Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 239000012141 concentrate Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
- B60G2400/80—Exterior conditions
- B60G2400/82—Ground surface
- B60G2400/821—Uneven, rough road sensing affecting vehicle body vibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
- B60G2400/80—Exterior conditions
- B60G2400/82—Ground surface
- B60G2400/823—Obstacle sensing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
- B60G2400/80—Exterior conditions
- B60G2400/82—Ground surface
- B60G2400/824—Travel path sensing; Track monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60G2401/14—Photo or light sensitive means, e.g. Infrared
- B60G2401/142—Visual Display Camera, e.g. LCD
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Computer Graphics (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】車両近傍の撮像画像を歪みの少ない画像としてモニタ表示可能とする。
【解決手段】路面上の車両１の周囲を撮像する撮像手段２と、撮像手段２による撮像画像を２ａ仮想視点から見た画像に変換するに際し路面側に凸形状で且つ車両１の進行方向端部から所定範囲内では路面からの高さが無変化な三次元投影モデル３００を用いて画像変換を行う画像変換手段３と、画像変換手段３により変換された画像を表示する表示手段４とを設ける。三次元投影モデル３００は、路面側に凸形状の円筒面モデル３０１と、この円筒面モデル３０１の端部に連続する球面モデル３０２とで構成する。これにより、円筒面モデル３０１の中心軸に平行な路面上の直線が変換画像で直線となり、見やすく歪みの少ない画面を運転者に提示可能となる。
【選択図】 図７
【解決手段】路面上の車両１の周囲を撮像する撮像手段２と、撮像手段２による撮像画像を２ａ仮想視点から見た画像に変換するに際し路面側に凸形状で且つ車両１の進行方向端部から所定範囲内では路面からの高さが無変化な三次元投影モデル３００を用いて画像変換を行う画像変換手段３と、画像変換手段３により変換された画像を表示する表示手段４とを設ける。三次元投影モデル３００は、路面側に凸形状の円筒面モデル３０１と、この円筒面モデル３０１の端部に連続する球面モデル３０２とで構成する。これにより、円筒面モデル３０１の中心軸に平行な路面上の直線が変換画像で直線となり、見やすく歪みの少ない画面を運転者に提示可能となる。
【選択図】 図７
Description
【０００１】
【発明の属する技術分野】
本発明は車載カメラで撮像した車両後方画像を車載モニタに表示し車両後退時の運転を支援する運転支援装置に係り、特に、車載モニタに歪みの少ない画像を表示して運転者に違和感を与えない様にした運転支援装置に関する。
【０００２】
【従来の技術】
車載カメラを車両のリアトランク部等に後ろ向きに設置し、この車載カメラから得られた車両後方の撮像画像を運転者に提示する運転支援装置が普及し始めている。この運転支援装置には、車載カメラの実写映像をあたかも仮想的に設定した視点から撮影したかのような映像に変換、合成して、モニタに表示するものもあり、主として、車両後退時の安全確認と駐車支援を目的として使用される。
【０００３】
画像を合成、変換する際に使用する三次元投影モデルとして、例えば、図１０に示す様に、円筒面モデル１０１と、平面モデル１０２とで構成された三次元投影モデル１００が使用される。そして、実カメラ１０３による実写映像を、仮想カメラ１０４から見た画像に変換、合成し、三次元投影モデル１００に投影した画像として車載モニタに表示する。
【０００４】
図１１は、図１０に示す直線１０５の撮像画像を三次元投影モデル１００に投影した画像の説明図である。モニタ画面１０６上の直線画像１０５ａは、円筒面モデル１０１と平面モデル１０２とのモデル境界１０７において折れ曲がって表示されてしまう。このように、遠方画像を投影する円筒面と、近傍画像を投影する平面とを組み合わせた三次元投影モデル１００を使用した場合、本来は真っ直ぐな直線１０５が折れ曲がった画像１０５ａとして変換されてしまうのは、２つの三次元投影モデル１０１、１０２のモデル境界１０７に表示の歪みが集中するためであり、この画像１０５ａを見た運転者は、違和感を感じてしまう。
【０００５】
そこで、２つの三次元投影モデルを曲面（第３の三次元投影モデル）により滑らかに接続すれば、図１２に示す様に、直線画像１０５ａが滑らかに曲がり、違和感を和らげることは可能である。しかし、第３の三次元モデルへの投影面１０８に歪みが集中するため、依然として違和感は残る。
【０００６】
このため、例えば特開２００２―８３２８５号公報記載の従来技術では、図１３に示す三次元投影モデルを提案している。この三次元投影モデル２００は、遠景画像を投影する円筒面モデル１０１と、これに滑らかに連続し近傍画像を投影する球面モデル２０１とで構成される。このように、車両近傍の撮像画像を投影するモデルとして球面モデル２０１を用いることで、球面モデル２０１への投影画像全体が滑らかに変化し、運転者への違和感はかなり緩和する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した図１３に示す三次元投影モデル２００を用いた場合、車両近傍の撮像画像が特定場所で集中して歪んでしまうことはないが、画像全体に歪みが生じるという問題がある。例えば、地面２０２上の格子模様を実カメラ１０３によって撮像し、この撮像画像を球面モデル２０１に投影した画像は、図１４に示す様に、全体的に歪んでしまう。即ち、本来、地面２０２上で格子を構成する直線群が、画面１０６上で曲線群として表示され、自車両と周辺との位置関係を把握しがたい画像になってしまうという問題がある。
【０００８】
本発明の目的は、車両より遠方の撮像画像の違和感を抑えながら車両近傍の撮像画像を歪みの少ない画像としてモニタ表示可能な三次元投影モデルを搭載した運転支援装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成する運転支援装置は、路面上の車両の周囲を撮像する撮像手段と、前記撮像手段による撮像画像を仮想視点から見た画像に変換するに際し前記路面側に凸形状で且つ前記車両の進行方向先端部から所定範囲内では前記路面からの高さが無変化な三次元投影モデルを用いて画像変換を行う画像変換手段と、前記画像変換手段により変換された画像を表示する表示手段とを備えたことを特徴とする。
【００１０】
この構成により、本発明の運転支援装置では、車両近傍の路面に描かれた駐車枠等の様な車両進行方向に平行な直線が、表示手段の画面上でも直線として表示され、自車両と周りとの相対位置関係の把握が容易となる。
【００１１】
好適には、前記三次元投影モデルには、前記車両の幅の方向の予め決められた範囲を超えた領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする。この構成により、車幅方向の広い範囲の撮像画像を、画像歪みを目立たせることなく、画面に表示可能となる。
【００１２】
好適には、前記三次元投影モデルには、前記所定範囲を超えた前記車両の進行方向の領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする。この構成により、車両進行方向の広い範囲の撮像画像を、画像歪みを目立たせることなく、画面に表示可能となる。
【００１３】
更に好適には、前記三次元投影モデルは、端点以外の全領域で微分可能な連続する曲面で形成されていることを特徴とする。この構成により、画面に不連続な特異点が存在せず、複数の三次元モデル（円筒面や球面）を接続したことによる違和感は生じない。また、凸な面の傾きを調整することで、画面上での拡大率や歪み方を変更でき、これを利用して、画面上での距離感や方向感も調整可能となる。さらに、いずれの三次元モデルも下に凸な滑らかな曲面であるため、画像歪みが特定個所に集中することはなく、画面全体に分散され、見やすい画面となる。これにより、距離感の把握が容易で違和感のない映像を運転者に提供することが可能となる。
【００１４】
更に好適には、前記三次元投影モデルは、前記路面側に凸形状の円筒面と、前記円筒面の端部に滑らかに連続する球面とを有することを特徴とする。この構成により、三次元投影モデルを方程式で表現でき、画像変換処理あるいは後述のマッピングテーブルの作成が容易となる。
【００１５】
更に好適には、前記所定範囲は、前記車両の進行方向の長さを一般的や駐車枠の長さ５ｍの１２０％以内の大きさとし、幅を一般的な駐車枠の幅３ｍの８０％から１２０％の範囲の任意の大きさとし、前記円筒面に投影されることを特徴とする。この構成により、駐車運転に適した画面を運転者に提供可能となる。
【００１６】
更に好適には、前記円筒面は楕円の円筒面であり、前記円筒面に投影した前記路面上の前記円筒面の中心軸に平行な等間隔の格子線間の最大幅と最小幅の比が少なくとも前記所定範囲において８０％となる楕円を前記三次元投影モデルとしたことを特徴とする。この構成により、より歪みの少ない画面を運転者に提示することができる。
【００１７】
更に好適には、前記表示手段の画面に表示される前記車両の後端画像の左右両端が、前記画面の両端位置から画面幅の少なくとも１５％の範囲内に入る様に前記三次元投影モデルと前記仮想視点の位置とが設定されることを特徴とする。この構成により、運転者から直接視認することのできない死角位置の画像が画面上で大きく表示され、運転者は安心感をもって運転することが可能となる。
【００１８】
更に好適には、前記所定範囲内における車両後端の直線形状が前記表示手段の画面上で直線画像として表示される様に前記三次元投影モデルと前記仮想視点の位置を設定したことを特徴とする。この構成により、自車両のバンパー等の形状を容易に確認でき、且つ、路面と自車両との位置関係を正確に把握することが可能となる。更に、前記表示手段の画面に表示される前記車両の後端画像の左右両端が、前記画面の両端位置から画面幅の少なくとも１５％の範囲内に入る様に前記三次元投影モデルと前記仮想視点の位置とが設定されることにより、視点変換による画面上では、路面上の車両の幅よりも大きく表示されるバンパー等の車両後部画像が、画面幅により適当な幅に切り取られて表示されるため、路面上の車幅とバンパーの幅とが大きく異なって表示されるという違和感の要因を低減することが可能となる。
【００１９】
更に好適には、前記三次元投影モデルを用いて変換した画像に、前記車両の進行方向に平行で且つ車両幅よりも所定値だけ外側を示す路面上の直線を示すガイド線を重畳して前記表示手段の画面に表示することを特徴とする。この構成により、ガイド線と路面上の直線との相対位置関係を画面上から直感的に把握可能となり、駐車時に駐車枠や路側等の目印との位置合わせ操作が容易になる。
【００２０】
更に好適には、前記画像変換手段は、前記三次元投影モデルに基づく変換アドレスを格納したマッピングテーブルを用いて前記撮像画像を変換することを特徴とする。この構成により、いちいち三次元投影モデルを用いて演算処理する必要がなくなり、高速に画像変換処理を行うことが可能となる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２２】
図１は、本発明の一実施の形態に係る運転支援装置の車両への取り付け構成図である。この運転支援装置は、車両１に設置された撮像装置２と、撮像装置２の撮像画像を処理する画像合成変換装置３と、画像合成変換後の映像を表示するモニタ４とを備えて構成される。
【００２３】
撮像装置２は、車両１の後方を撮影するように設置され、撮像装置２で取得された映像は、画像合成変換装置３によりレンズ歪みが除去されたり、また、あたかも任意の仮想視点から撮影したかのような映像に変換され、モニタ（表示手段）４に表示される。
【００２４】
図２は、運転支援装置の詳細構成図である。撮像装置２は、車両後方の左側領域を撮像する様に設置されたカメラ２１及びこのカメラ２１の撮像画像データを一時保持するフレームメモリ２２と、車両後方の右側領域を撮像する様に設置されたカメラ２３及びこのカメラ２３の撮像画像データを一時保持するフレームメモリ２４とを備える。尚、この実施の形態では、車両後方の左右を夫々カメラ２１、２３で撮像し左右の撮像画像を合成する構成としているが、１台のカメラで車両後方の左右を一度に撮像する構成としてもよい。
【００２５】
画像合成変換装置３は、撮像装置２の２つのフレームメモリ２２、２４から取り込んだ車両後方の左右の画像を合成する画像合成手段３１と、画像合成手段３１が合成する画像の各画素のマッピング情報を格納したマッピングテーブル参照手段３２と、画像合成手段３１が合成した画像を映像信号に変換する映像信号生成手段３３とから構成される。
【００２６】
マッピングテーブル参照手段３２は、出力画像（モニタ４に表示する画像）の各画素の位置座標と入力画像（カメラ２１、２３の撮像画像）の各画素の位置座標との対応を示す変換アドレス（マッピングテーブル）を格納した変換アドレスメモリ３２ａと、入力画像の各画素の必要度が記憶された必要度メモリ３２ｂとを備える。
【００２７】
ここで「必要度」とは、例えば左右の入力画像を左右つなぎ合わせて１枚の出力画像を生成する場合に、左右の入力画像が重複する領域の各画素データの値を決めるとき、右側の入力画素の必要度を「０．５」、左側の入力画素の必要度を「０．５」などとして加算演算する値である。また、上記変換アドレスは、詳細は後述する三次元投影モデルに基づいて予め生成され、変換アドレスメモリ３２ａに格納される。
【００２８】
画像合成手段３１は、マッピングテーブル参照手段３２に記録されている変換アドレス（マッピングテーブル）に基づき、フレームメモリ２２、２４内の各画素データを、指定された必要度に応じて混合器３１ａ、３１ｂで合成演算し、更に、合成演算された左右の各画素データを加算器３１ｃで加算することにより出力画素のデータを生成する。
【００２９】
即ち、画像合成手段３１は、例えば、入力画像信号等の適切な同期信号に基づいて動作し、マッピングテーブル参照手段３２に従って２つの異なるカメラ２１、２３から入力される画像を合成したり、各画素位置を変更したりして出力画像を生成することで、リアルタイムに、異なる複数のカメラ２１、２３からの入力画像を滑らかにつなぎ合わしたり、仮想視点からの映像に変換したりする。
【００３０】
映像信号生成手段３３は、画像合成手段３１から出力される出力画素データを映像信号に変換し、モニタ４に出力する。
【００３１】
マッピングテーブル参照手段３２内に格納されている変換アドレスは、本実施の形態に係る三次元投影モデルに基づいて生成される。この三次元投影モデルは、カメラ２１、２３により撮像された映像をあたかも仮想視点位置に設置された仮想カメラによって撮像した映像へと変換する際の対応関係を示すモデルである。
【００３２】
カメラ２１、２３は、実際には広角カメラであり、その撮像画像を左右合成して得ることができる車両後方の画像は、図３に示す様に、近いほど大きく、遠いほど小さい画像として表示される。図示する例は、車両後方の駐車領域（一般的には、縦がほぼ５ｍ、横がほぼ３ｍの矩形領域。分かりやすくするために、この駐車領域を格子模様で示している。）を広角カメラによって撮像した画像であるが、本実施形態では、この図３の画像を、後述する三次元投影モデルを用いて生成した変換アドレスにより、図５や図６に示す様に、見やすく歪みの少ない画像としてモニタ４に表示するものである。
【００３３】
図７は、本実施の形態で用いる三次元投影モデルを示す図である。本実施の形態で用いる三次元投影モデル３００は、遠景の画像を投影する円筒面モデル３０１と、この円筒面モデル３０１に滑らかに連続し近傍画像を投影する球面モデル３０２とで構成される。この三次元投影モデル３００は、図１３で説明した従来の三次元投影モデル２００とは、その配置方向が異なる。即ち、本実施の形態では、円筒面モデル３０１の軸が、地面（路面）すなわち自車両１の進行方向と平行に配置され、且つ、円筒面モデル３０１の下凸面が地面側に配置される構成を特徴とする。
【００３４】
自車両１に搭載された後方撮影用の撮像装置２は、三次元投影モデル３００の軸方向に後方画像を撮像し、画像合成変換装置３は、撮像装置２による撮像画像を、三次元投影モデル３００を介し、且つ、あたかも、実際の撮像装置２より上方位置に設置した仮想カメラ２ａによって撮影した映像に変換し、モニタ４に表示する。
【００３５】
三次元投影モデル３００の円筒面３０１は、円筒面３０１の中心軸が車両１の進行方向に平行となるように路面上に設置され、円筒面３０１の中心軸を通り路面と平行な平面で半分に切り取った半円筒形状のモデルである。球面モデル３０２は、その半径が円筒面モデル３０１の半径と同じであり、しかもその中心が円筒面モデル３０１の中心軸上にあり、且つ、その中心を通り円筒面３０１の中心軸を垂線とする平面で切り取った時の切り口が円筒面３０１と完全に一致する球面である。即ち、円筒面モデル３０１と球面モデル３０２とは境界上の全ての点（端点を除く）において微分可能となる。
【００３６】
上述した三次元投影モデル３００は、説明の都合上、「円筒」「球」として説明したが、完全な「円筒」「球」である必要はなく、夫々楕円、楕円球であってもよい。例えば、路面側に扁平な楕円を三次元投影モデルとする。この楕円で成る三次元投影モデルを車両１の進行方向に対して垂直な平面で切った図が図８である。尚、図８では、モデルを構成する楕円の下半分だけでなく、楕円全体を図示している。
【００３７】
図８には、３つの三次元投影モデルを示している。一つは、路面と一致する平面モデル５０６であり、他の二つは扁平率の異なる楕円モデル５２１、５２２（図７の三次元投影モデル３０１に対応する部分）である。楕円モデル５２１、５２２は、短軸の長さのみが異なる。ここで、路面上に描かれた図示しない等間隔で成る格子模様を図７に示す撮像装置２で撮影し、図８に示す３つのモデル５０６、５２１、５２２を介して、図７に示す仮想カメラ２ａで撮影したかのような画像に変換した図が、夫々、図９（ａ）（ｂ）（ｃ）である。尚、仮想カメラ２ａが真下を向いているときのものである。
【００３８】
図８に示す様に、楕円５２１、５２２の円筒面の中心軸に平行で、且つ、路面上にある軸をＹ軸とし、Ｙ軸に直交し路面に対し垂直な軸をＺ軸とし、これらのＹ軸、Ｚ軸と直交する軸をＸ軸としたとき、各モデル５０６、５２１、５２２でＹ軸上の値は一致するが、Ｙ軸からＸ軸方向に離れるに従って、高さ（Ｚ軸方向の値）が異なってくる。
【００３９】
即ち、路面に描かれた格子模様のうち、Ｙ軸に平行な線は、各モデル５０６、５２１、５２２を用いて変換された画面上でも平行線として描かれ、扁平率の小さいモデル、即ち、Ｘ軸方向に離れるに従って路面から離れるモデル５２２では、図９（ｃ）に示される通り、中心付近の格子模様の間隔ｘ１に対し、画面端側の格子模様の間隔ｘ２は狭くなってしまう。
【００４０】
そこで、本実施の形態で使用する三次元投影モデル３００（実際に使用するモデル３００の円筒面モデル３０１としては、図８に示す楕円の円筒面モデル５２１を使用し、球面モデル３０２としては、楕円の円筒面モデル５２１に滑らかに連続する楕円の球面モデルを使用する。）では、どの程度の扁平率の楕円を円筒面モデル５２１とするかを次の様にして決めている。
【００４１】
即ち、図８に示すＸ軸方向は、図７に示す自車両１の車幅方向であるため、Ｙ軸を中心とする一般的な駐車枠の幅である３ｍの８０％から１２０％のうちの任意の範囲５０３を取り、この範囲５０３内にある三次元投影モデル５２１を介した変換後の画像内で、図９（ｂ）に示す様に、路面上で等間隔であった格子模様の間隔の最大値Ｘｍａｘと最小値Ｘｍｉｎとの比が少なくとも８０％以上となるような楕円の三次元投影モデル５２１を設定する。
【００４２】
この様な三次元投影モデル５２１は、楕円の長軸と短軸との長さを調整することで容易に設定可能である。このようにして楕円による図７の円筒面モデル３０１を決定し、格子模様の変換画像を表示した図が、図５、図６である。これらの変換画像では、自車両１の進行方向と同方向に延びる直線は変換画像中でも直線として表示され、且つ、車幅の方向に対する変換画像中の画像歪みを違和感の無い程度の緩やかな歪みに抑制可能となる。
【００４３】
車両の運転操作においては、路側や駐車枠の側面の線などＹ軸に平行な直線を目印とすることが多いため、Ｙ軸に平行な直線が変換後の画像でも直線として表示されることは運転操作上大きな利点となる。本実施の形態では、路面の撮像画像を投影するモデルとして円筒面モデル３０１を採用していたため、直線が直線に変換され、この利点を享受することが可能となる。
【００４４】
一方、図８に示す範囲５０３を超えた車幅方向の遠方範囲５０４については、撮像画像を例えば平面に投影すると、立体物が大きく歪み違和感を覚える。従って、この画像歪みを低減するために、投影面を路面から立ち上がる面とするのが良い。しかし、この投影面を、円筒面３０１から急激に立ち上がる面にすると、境界部分で画像歪みが集中するため、徐々に立ち上がる投影面とするのがよい。楕円のモデル５２１は、範囲５０４において徐々に立ち上がっているため、この楕円のモデル５２１を範囲５０４でも用いることで、画面全体に画像歪みを分散させることが可能となり、違和感の少ない変換画像を提供することができる。
【００４５】
Ｙ軸方向についても同様であり、Ｙ軸方向の遠方の撮像画像を平面に投影した場合、立体物が大きく歪んでしまい、違和感を覚える。従って、Ｙ軸方向についても遠方では投影面を立ち上げることが必要となる。Ｙ軸方向は車両の進行方向すなわち車長方向となるため、車両後端から、所定範囲ではモデル５２１を用いて画像変換を行い、車両後端から所定範囲を越える範囲ではモデル５２１に連続する楕円球（図７のモデル３０２）を用いて画像変換を行う。
【００４６】
このＹ軸方向の所定範囲としては、一般的な駐車枠の範囲が縦５ｍであるため、この５ｍの８０％から１２０％の範囲のうちの任意値とするのが望ましい。また、この所定範囲内ではＹ軸方向に傾きを持たせないのがよい。本実施の形態に係る三次元投影モデル３００の円筒面モデル３０１は、最下端の位置の路面からの高さを円筒面モデル３０１の長さに渡ってゼロ（路面と一致）としている。これにより、所定範囲内の撮像画像中の直線は変換画像でも直線として表示されることとなる。
【００４７】
しかし、図７に示す撮像装置２による撮像画像の半分程度は、車両後端から２ｍ程度の範囲であることが多い。このような画像においては、必ずしも上記の５ｍにかかわる必要は無く、十分な空間解像度の得られる２ｍ以内のみにおいてＹ軸方向に傾きを設けず、それ以遠は、Ｘ軸方向と同様に、徐々に傾きを大きくすることでも良い。
【００４８】
本実施の形態に係る図５、図６の変換画像では、車両後端から２ｍの範囲を示す距離表示線１０より手前側では直線が直線として表示される様にしており、２ｍより遠い範囲では、楕円球モデル３０２を用いて画像変換をしている。この所定範囲をどの範囲にするかは、撮像装置２の設置位置や解像度、仮想視点の位置等により異なってくるが、運転支援の観点からは、車両１の後端から駐車枠の範囲を所定範囲として楕円によるモデル３０１を適用し、それ以遠に対して、楕円球のモデル３０２を適用するのが望ましい。
【００４９】
本実施の形態では、三次元投影モデルとして、楕円の円筒面モデル３０１と楕円の球面モデル３０２とにより三次元投影モデルを構成している。これにより、これにより、楕円の球面モデル３０２と楕円の円筒面モデル３０１とは連続的に結合され、その結果、図５、図６に示されるように、変換画像は、三次元投影モデル３００のモデル３０１とモデル３０２との境界面においても滑らかに結合され、その境界を識別することはできず、境界面に違和感を覚えることは無い。
【００５０】
上述した様に、図８に示す範囲５０４の投影モデルの傾きを調整することにより、この範囲５０４の立体物の画像歪みの程度を調整することができる。例えば、図５に示す様に、この範囲５０４の投影モデルに適度な傾きを設けることで、広角レンズを用いた撮像装置により撮影した画像の歪み具合が調整でき、遠方にある他車両の拡大率を実際のリアウィンドから覗いた時の距離感に近くなるように設定することが可能となる。
【００５１】
比較のために示した図４は、図３の広角カメラの画像に対して、広角レンズのレンズ歪みをとった画像を示す図である。このレンズ歪みを除去しただけでは、広角レンズを使用したことによる遠近感の強調の効果が緩和されていないことが確認できる。即ち、遠くの画像がより遠くに見えて、遠近感が強調されたままの画像となっている。これに対し、本実施の形態では、楕円の球面モデル３０２を用いて遠方画像を変換しているため、図５に示されるように、遠近感が緩和されており、見やすい画像となっている。
【００５２】
図７の円筒面モデル３０１と球面モデル３０２の楕円の長軸と短軸の長さ、並びに、仮想カメラ２ａの視点位置を調整することにより、図５に示す画像を図６に示す画像のように変換してモニタ４に表示することができる。即ち、自車両１の路面上の幅ｄが、画面上で拡大する様に表示することができる。この図６では、車両の両端位置が、画面両端位置から画面幅の１５％の範囲内に入るように図５の画像を変換して表示している。
【００５３】
このように拡大表示することで、運転者から死角となる自車両１の後端近傍の画像がモニタ４の画面いっぱいに表示され、運転者に安心感を与えることが可能となる。その結果、運転者は、安心感を持って運転操作を実施できる。
【００５４】
また同様に、円筒面モデル３０１と球面モデル３０２の楕円の長軸と短軸の長さ、並びに仮想カメラ２ａの位置とを調整することにより、図５、図６に示す様に、自車両１のバンパ画像１ａが直線となるように表示することができる。バンパー画像１ａが図３や図４に示されるように曲線表示される場合と比べて違和感がなくなり、運転操作がし易くなる。
【００５５】
更に、本実施の形態では、例えば図６に示す様に、車幅を示すマーク１１や、車両進行方向に平行で車両幅ｄよりも少し外側を示す路面上の直線をガイド線１２として表示する。これらを表示することで、路側や駐車枠と自車両との間の相対位置関係が画面上から直感的に把握でき、的確な運転操作の一助となる。
【００５６】
尚、上述した円筒面モデルと球面モデルの組み合わせでなる三次元投影モデルは、必ずしも方程式により定義される曲面で構成される必要はなく、適用範囲と性質によって決められるものである。例えば、楕円の円筒面モデル３０１は必ずしも楕円方程式に従う楕円形状でなければならないものではなく、下に凸な三次元投影モデルであって、変換された画像の歪みが画像全体に分散される形状であればよい。球面モデル３０２においても同様である。
【００５７】
【発明の効果】
本発明によれば、車両近傍の撮像画像を歪みの少ない画像としてモニタ表示することができる運転支援装置を提供可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る運転支援装置の車両への取り付け構成図
【図２】本発明の一実施の形態に係る運転支援装置の詳細構成図
【図３】本発明の一実施の形態に係る運転支援装置の撮像装置によって撮像された広角カメラの撮像画像を示す模式図
【図４】本発明の一実施の形態に係る運転支援装置の撮像装置によって撮像された広角カメラの撮像画像からレンズ歪みを除去した画像の模式図
【図５】本発明の一実施の形態に係る運転支援装置によるモニタ表示画面を示す模式図
【図６】本発明の一実施の形態に係る運転支援装置によるモニタ表示画面の変形例を示す模式図
【図７】本発明の一実施の形態に係る運転支援装置で用いる三次元投影モデルの説明図
【図８】本発明の一実施の形態に係る三次元投影モデルの説明図
【図９】本発明の一実施の形態に係る三次元投影モデルによる変換画像の変換例を示す模式図
【図１０】従来の運転支援装置で用いられる三次元投影モデルの説明図
【図１１】従来の運転支援装置で用いられる三次元投影モデルによる変換画像の模式図
【図１２】従来の運転支援装置による変換画像の変形例を示す模式図
【図１３】従来の運転支援装置で用いられる別の三次元投影モデルの説明図
【図１４】従来の運転支援装置で用いられる図１３の三次元投影モデルによる画像歪みを例示する模式図
【符号の説明】
１ 自車両
１ａ バンパ画像
２ 撮像装置
３ 画像合成変換装置
４ 表示装置（モニタ）
１０ 距離表示ガイド線
１１ 車幅表示ガイド線
１２ 路面上の直線ガイド線
２１、２３ カメラ
２２、２４ フレームメモリ
３１ 画像合成手段
３２ マッピングテーブル参照手段
３２ａ 変換アドレスメモリ
３２ｂ 必要度メモリ
３３ 映像信号生成手段
３００ 三次元投影モデル
３０１ 円筒面モデル（楕円）
３０２ 球面モデル（楕円）
５０６ 平面モデル
５２１、５２２ 楕円の円筒面モデル
【発明の属する技術分野】
本発明は車載カメラで撮像した車両後方画像を車載モニタに表示し車両後退時の運転を支援する運転支援装置に係り、特に、車載モニタに歪みの少ない画像を表示して運転者に違和感を与えない様にした運転支援装置に関する。
【０００２】
【従来の技術】
車載カメラを車両のリアトランク部等に後ろ向きに設置し、この車載カメラから得られた車両後方の撮像画像を運転者に提示する運転支援装置が普及し始めている。この運転支援装置には、車載カメラの実写映像をあたかも仮想的に設定した視点から撮影したかのような映像に変換、合成して、モニタに表示するものもあり、主として、車両後退時の安全確認と駐車支援を目的として使用される。
【０００３】
画像を合成、変換する際に使用する三次元投影モデルとして、例えば、図１０に示す様に、円筒面モデル１０１と、平面モデル１０２とで構成された三次元投影モデル１００が使用される。そして、実カメラ１０３による実写映像を、仮想カメラ１０４から見た画像に変換、合成し、三次元投影モデル１００に投影した画像として車載モニタに表示する。
【０００４】
図１１は、図１０に示す直線１０５の撮像画像を三次元投影モデル１００に投影した画像の説明図である。モニタ画面１０６上の直線画像１０５ａは、円筒面モデル１０１と平面モデル１０２とのモデル境界１０７において折れ曲がって表示されてしまう。このように、遠方画像を投影する円筒面と、近傍画像を投影する平面とを組み合わせた三次元投影モデル１００を使用した場合、本来は真っ直ぐな直線１０５が折れ曲がった画像１０５ａとして変換されてしまうのは、２つの三次元投影モデル１０１、１０２のモデル境界１０７に表示の歪みが集中するためであり、この画像１０５ａを見た運転者は、違和感を感じてしまう。
【０００５】
そこで、２つの三次元投影モデルを曲面（第３の三次元投影モデル）により滑らかに接続すれば、図１２に示す様に、直線画像１０５ａが滑らかに曲がり、違和感を和らげることは可能である。しかし、第３の三次元モデルへの投影面１０８に歪みが集中するため、依然として違和感は残る。
【０００６】
このため、例えば特開２００２―８３２８５号公報記載の従来技術では、図１３に示す三次元投影モデルを提案している。この三次元投影モデル２００は、遠景画像を投影する円筒面モデル１０１と、これに滑らかに連続し近傍画像を投影する球面モデル２０１とで構成される。このように、車両近傍の撮像画像を投影するモデルとして球面モデル２０１を用いることで、球面モデル２０１への投影画像全体が滑らかに変化し、運転者への違和感はかなり緩和する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した図１３に示す三次元投影モデル２００を用いた場合、車両近傍の撮像画像が特定場所で集中して歪んでしまうことはないが、画像全体に歪みが生じるという問題がある。例えば、地面２０２上の格子模様を実カメラ１０３によって撮像し、この撮像画像を球面モデル２０１に投影した画像は、図１４に示す様に、全体的に歪んでしまう。即ち、本来、地面２０２上で格子を構成する直線群が、画面１０６上で曲線群として表示され、自車両と周辺との位置関係を把握しがたい画像になってしまうという問題がある。
【０００８】
本発明の目的は、車両より遠方の撮像画像の違和感を抑えながら車両近傍の撮像画像を歪みの少ない画像としてモニタ表示可能な三次元投影モデルを搭載した運転支援装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成する運転支援装置は、路面上の車両の周囲を撮像する撮像手段と、前記撮像手段による撮像画像を仮想視点から見た画像に変換するに際し前記路面側に凸形状で且つ前記車両の進行方向先端部から所定範囲内では前記路面からの高さが無変化な三次元投影モデルを用いて画像変換を行う画像変換手段と、前記画像変換手段により変換された画像を表示する表示手段とを備えたことを特徴とする。
【００１０】
この構成により、本発明の運転支援装置では、車両近傍の路面に描かれた駐車枠等の様な車両進行方向に平行な直線が、表示手段の画面上でも直線として表示され、自車両と周りとの相対位置関係の把握が容易となる。
【００１１】
好適には、前記三次元投影モデルには、前記車両の幅の方向の予め決められた範囲を超えた領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする。この構成により、車幅方向の広い範囲の撮像画像を、画像歪みを目立たせることなく、画面に表示可能となる。
【００１２】
好適には、前記三次元投影モデルには、前記所定範囲を超えた前記車両の進行方向の領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする。この構成により、車両進行方向の広い範囲の撮像画像を、画像歪みを目立たせることなく、画面に表示可能となる。
【００１３】
更に好適には、前記三次元投影モデルは、端点以外の全領域で微分可能な連続する曲面で形成されていることを特徴とする。この構成により、画面に不連続な特異点が存在せず、複数の三次元モデル（円筒面や球面）を接続したことによる違和感は生じない。また、凸な面の傾きを調整することで、画面上での拡大率や歪み方を変更でき、これを利用して、画面上での距離感や方向感も調整可能となる。さらに、いずれの三次元モデルも下に凸な滑らかな曲面であるため、画像歪みが特定個所に集中することはなく、画面全体に分散され、見やすい画面となる。これにより、距離感の把握が容易で違和感のない映像を運転者に提供することが可能となる。
【００１４】
更に好適には、前記三次元投影モデルは、前記路面側に凸形状の円筒面と、前記円筒面の端部に滑らかに連続する球面とを有することを特徴とする。この構成により、三次元投影モデルを方程式で表現でき、画像変換処理あるいは後述のマッピングテーブルの作成が容易となる。
【００１５】
更に好適には、前記所定範囲は、前記車両の進行方向の長さを一般的や駐車枠の長さ５ｍの１２０％以内の大きさとし、幅を一般的な駐車枠の幅３ｍの８０％から１２０％の範囲の任意の大きさとし、前記円筒面に投影されることを特徴とする。この構成により、駐車運転に適した画面を運転者に提供可能となる。
【００１６】
更に好適には、前記円筒面は楕円の円筒面であり、前記円筒面に投影した前記路面上の前記円筒面の中心軸に平行な等間隔の格子線間の最大幅と最小幅の比が少なくとも前記所定範囲において８０％となる楕円を前記三次元投影モデルとしたことを特徴とする。この構成により、より歪みの少ない画面を運転者に提示することができる。
【００１７】
更に好適には、前記表示手段の画面に表示される前記車両の後端画像の左右両端が、前記画面の両端位置から画面幅の少なくとも１５％の範囲内に入る様に前記三次元投影モデルと前記仮想視点の位置とが設定されることを特徴とする。この構成により、運転者から直接視認することのできない死角位置の画像が画面上で大きく表示され、運転者は安心感をもって運転することが可能となる。
【００１８】
更に好適には、前記所定範囲内における車両後端の直線形状が前記表示手段の画面上で直線画像として表示される様に前記三次元投影モデルと前記仮想視点の位置を設定したことを特徴とする。この構成により、自車両のバンパー等の形状を容易に確認でき、且つ、路面と自車両との位置関係を正確に把握することが可能となる。更に、前記表示手段の画面に表示される前記車両の後端画像の左右両端が、前記画面の両端位置から画面幅の少なくとも１５％の範囲内に入る様に前記三次元投影モデルと前記仮想視点の位置とが設定されることにより、視点変換による画面上では、路面上の車両の幅よりも大きく表示されるバンパー等の車両後部画像が、画面幅により適当な幅に切り取られて表示されるため、路面上の車幅とバンパーの幅とが大きく異なって表示されるという違和感の要因を低減することが可能となる。
【００１９】
更に好適には、前記三次元投影モデルを用いて変換した画像に、前記車両の進行方向に平行で且つ車両幅よりも所定値だけ外側を示す路面上の直線を示すガイド線を重畳して前記表示手段の画面に表示することを特徴とする。この構成により、ガイド線と路面上の直線との相対位置関係を画面上から直感的に把握可能となり、駐車時に駐車枠や路側等の目印との位置合わせ操作が容易になる。
【００２０】
更に好適には、前記画像変換手段は、前記三次元投影モデルに基づく変換アドレスを格納したマッピングテーブルを用いて前記撮像画像を変換することを特徴とする。この構成により、いちいち三次元投影モデルを用いて演算処理する必要がなくなり、高速に画像変換処理を行うことが可能となる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２２】
図１は、本発明の一実施の形態に係る運転支援装置の車両への取り付け構成図である。この運転支援装置は、車両１に設置された撮像装置２と、撮像装置２の撮像画像を処理する画像合成変換装置３と、画像合成変換後の映像を表示するモニタ４とを備えて構成される。
【００２３】
撮像装置２は、車両１の後方を撮影するように設置され、撮像装置２で取得された映像は、画像合成変換装置３によりレンズ歪みが除去されたり、また、あたかも任意の仮想視点から撮影したかのような映像に変換され、モニタ（表示手段）４に表示される。
【００２４】
図２は、運転支援装置の詳細構成図である。撮像装置２は、車両後方の左側領域を撮像する様に設置されたカメラ２１及びこのカメラ２１の撮像画像データを一時保持するフレームメモリ２２と、車両後方の右側領域を撮像する様に設置されたカメラ２３及びこのカメラ２３の撮像画像データを一時保持するフレームメモリ２４とを備える。尚、この実施の形態では、車両後方の左右を夫々カメラ２１、２３で撮像し左右の撮像画像を合成する構成としているが、１台のカメラで車両後方の左右を一度に撮像する構成としてもよい。
【００２５】
画像合成変換装置３は、撮像装置２の２つのフレームメモリ２２、２４から取り込んだ車両後方の左右の画像を合成する画像合成手段３１と、画像合成手段３１が合成する画像の各画素のマッピング情報を格納したマッピングテーブル参照手段３２と、画像合成手段３１が合成した画像を映像信号に変換する映像信号生成手段３３とから構成される。
【００２６】
マッピングテーブル参照手段３２は、出力画像（モニタ４に表示する画像）の各画素の位置座標と入力画像（カメラ２１、２３の撮像画像）の各画素の位置座標との対応を示す変換アドレス（マッピングテーブル）を格納した変換アドレスメモリ３２ａと、入力画像の各画素の必要度が記憶された必要度メモリ３２ｂとを備える。
【００２７】
ここで「必要度」とは、例えば左右の入力画像を左右つなぎ合わせて１枚の出力画像を生成する場合に、左右の入力画像が重複する領域の各画素データの値を決めるとき、右側の入力画素の必要度を「０．５」、左側の入力画素の必要度を「０．５」などとして加算演算する値である。また、上記変換アドレスは、詳細は後述する三次元投影モデルに基づいて予め生成され、変換アドレスメモリ３２ａに格納される。
【００２８】
画像合成手段３１は、マッピングテーブル参照手段３２に記録されている変換アドレス（マッピングテーブル）に基づき、フレームメモリ２２、２４内の各画素データを、指定された必要度に応じて混合器３１ａ、３１ｂで合成演算し、更に、合成演算された左右の各画素データを加算器３１ｃで加算することにより出力画素のデータを生成する。
【００２９】
即ち、画像合成手段３１は、例えば、入力画像信号等の適切な同期信号に基づいて動作し、マッピングテーブル参照手段３２に従って２つの異なるカメラ２１、２３から入力される画像を合成したり、各画素位置を変更したりして出力画像を生成することで、リアルタイムに、異なる複数のカメラ２１、２３からの入力画像を滑らかにつなぎ合わしたり、仮想視点からの映像に変換したりする。
【００３０】
映像信号生成手段３３は、画像合成手段３１から出力される出力画素データを映像信号に変換し、モニタ４に出力する。
【００３１】
マッピングテーブル参照手段３２内に格納されている変換アドレスは、本実施の形態に係る三次元投影モデルに基づいて生成される。この三次元投影モデルは、カメラ２１、２３により撮像された映像をあたかも仮想視点位置に設置された仮想カメラによって撮像した映像へと変換する際の対応関係を示すモデルである。
【００３２】
カメラ２１、２３は、実際には広角カメラであり、その撮像画像を左右合成して得ることができる車両後方の画像は、図３に示す様に、近いほど大きく、遠いほど小さい画像として表示される。図示する例は、車両後方の駐車領域（一般的には、縦がほぼ５ｍ、横がほぼ３ｍの矩形領域。分かりやすくするために、この駐車領域を格子模様で示している。）を広角カメラによって撮像した画像であるが、本実施形態では、この図３の画像を、後述する三次元投影モデルを用いて生成した変換アドレスにより、図５や図６に示す様に、見やすく歪みの少ない画像としてモニタ４に表示するものである。
【００３３】
図７は、本実施の形態で用いる三次元投影モデルを示す図である。本実施の形態で用いる三次元投影モデル３００は、遠景の画像を投影する円筒面モデル３０１と、この円筒面モデル３０１に滑らかに連続し近傍画像を投影する球面モデル３０２とで構成される。この三次元投影モデル３００は、図１３で説明した従来の三次元投影モデル２００とは、その配置方向が異なる。即ち、本実施の形態では、円筒面モデル３０１の軸が、地面（路面）すなわち自車両１の進行方向と平行に配置され、且つ、円筒面モデル３０１の下凸面が地面側に配置される構成を特徴とする。
【００３４】
自車両１に搭載された後方撮影用の撮像装置２は、三次元投影モデル３００の軸方向に後方画像を撮像し、画像合成変換装置３は、撮像装置２による撮像画像を、三次元投影モデル３００を介し、且つ、あたかも、実際の撮像装置２より上方位置に設置した仮想カメラ２ａによって撮影した映像に変換し、モニタ４に表示する。
【００３５】
三次元投影モデル３００の円筒面３０１は、円筒面３０１の中心軸が車両１の進行方向に平行となるように路面上に設置され、円筒面３０１の中心軸を通り路面と平行な平面で半分に切り取った半円筒形状のモデルである。球面モデル３０２は、その半径が円筒面モデル３０１の半径と同じであり、しかもその中心が円筒面モデル３０１の中心軸上にあり、且つ、その中心を通り円筒面３０１の中心軸を垂線とする平面で切り取った時の切り口が円筒面３０１と完全に一致する球面である。即ち、円筒面モデル３０１と球面モデル３０２とは境界上の全ての点（端点を除く）において微分可能となる。
【００３６】
上述した三次元投影モデル３００は、説明の都合上、「円筒」「球」として説明したが、完全な「円筒」「球」である必要はなく、夫々楕円、楕円球であってもよい。例えば、路面側に扁平な楕円を三次元投影モデルとする。この楕円で成る三次元投影モデルを車両１の進行方向に対して垂直な平面で切った図が図８である。尚、図８では、モデルを構成する楕円の下半分だけでなく、楕円全体を図示している。
【００３７】
図８には、３つの三次元投影モデルを示している。一つは、路面と一致する平面モデル５０６であり、他の二つは扁平率の異なる楕円モデル５２１、５２２（図７の三次元投影モデル３０１に対応する部分）である。楕円モデル５２１、５２２は、短軸の長さのみが異なる。ここで、路面上に描かれた図示しない等間隔で成る格子模様を図７に示す撮像装置２で撮影し、図８に示す３つのモデル５０６、５２１、５２２を介して、図７に示す仮想カメラ２ａで撮影したかのような画像に変換した図が、夫々、図９（ａ）（ｂ）（ｃ）である。尚、仮想カメラ２ａが真下を向いているときのものである。
【００３８】
図８に示す様に、楕円５２１、５２２の円筒面の中心軸に平行で、且つ、路面上にある軸をＹ軸とし、Ｙ軸に直交し路面に対し垂直な軸をＺ軸とし、これらのＹ軸、Ｚ軸と直交する軸をＸ軸としたとき、各モデル５０６、５２１、５２２でＹ軸上の値は一致するが、Ｙ軸からＸ軸方向に離れるに従って、高さ（Ｚ軸方向の値）が異なってくる。
【００３９】
即ち、路面に描かれた格子模様のうち、Ｙ軸に平行な線は、各モデル５０６、５２１、５２２を用いて変換された画面上でも平行線として描かれ、扁平率の小さいモデル、即ち、Ｘ軸方向に離れるに従って路面から離れるモデル５２２では、図９（ｃ）に示される通り、中心付近の格子模様の間隔ｘ１に対し、画面端側の格子模様の間隔ｘ２は狭くなってしまう。
【００４０】
そこで、本実施の形態で使用する三次元投影モデル３００（実際に使用するモデル３００の円筒面モデル３０１としては、図８に示す楕円の円筒面モデル５２１を使用し、球面モデル３０２としては、楕円の円筒面モデル５２１に滑らかに連続する楕円の球面モデルを使用する。）では、どの程度の扁平率の楕円を円筒面モデル５２１とするかを次の様にして決めている。
【００４１】
即ち、図８に示すＸ軸方向は、図７に示す自車両１の車幅方向であるため、Ｙ軸を中心とする一般的な駐車枠の幅である３ｍの８０％から１２０％のうちの任意の範囲５０３を取り、この範囲５０３内にある三次元投影モデル５２１を介した変換後の画像内で、図９（ｂ）に示す様に、路面上で等間隔であった格子模様の間隔の最大値Ｘｍａｘと最小値Ｘｍｉｎとの比が少なくとも８０％以上となるような楕円の三次元投影モデル５２１を設定する。
【００４２】
この様な三次元投影モデル５２１は、楕円の長軸と短軸との長さを調整することで容易に設定可能である。このようにして楕円による図７の円筒面モデル３０１を決定し、格子模様の変換画像を表示した図が、図５、図６である。これらの変換画像では、自車両１の進行方向と同方向に延びる直線は変換画像中でも直線として表示され、且つ、車幅の方向に対する変換画像中の画像歪みを違和感の無い程度の緩やかな歪みに抑制可能となる。
【００４３】
車両の運転操作においては、路側や駐車枠の側面の線などＹ軸に平行な直線を目印とすることが多いため、Ｙ軸に平行な直線が変換後の画像でも直線として表示されることは運転操作上大きな利点となる。本実施の形態では、路面の撮像画像を投影するモデルとして円筒面モデル３０１を採用していたため、直線が直線に変換され、この利点を享受することが可能となる。
【００４４】
一方、図８に示す範囲５０３を超えた車幅方向の遠方範囲５０４については、撮像画像を例えば平面に投影すると、立体物が大きく歪み違和感を覚える。従って、この画像歪みを低減するために、投影面を路面から立ち上がる面とするのが良い。しかし、この投影面を、円筒面３０１から急激に立ち上がる面にすると、境界部分で画像歪みが集中するため、徐々に立ち上がる投影面とするのがよい。楕円のモデル５２１は、範囲５０４において徐々に立ち上がっているため、この楕円のモデル５２１を範囲５０４でも用いることで、画面全体に画像歪みを分散させることが可能となり、違和感の少ない変換画像を提供することができる。
【００４５】
Ｙ軸方向についても同様であり、Ｙ軸方向の遠方の撮像画像を平面に投影した場合、立体物が大きく歪んでしまい、違和感を覚える。従って、Ｙ軸方向についても遠方では投影面を立ち上げることが必要となる。Ｙ軸方向は車両の進行方向すなわち車長方向となるため、車両後端から、所定範囲ではモデル５２１を用いて画像変換を行い、車両後端から所定範囲を越える範囲ではモデル５２１に連続する楕円球（図７のモデル３０２）を用いて画像変換を行う。
【００４６】
このＹ軸方向の所定範囲としては、一般的な駐車枠の範囲が縦５ｍであるため、この５ｍの８０％から１２０％の範囲のうちの任意値とするのが望ましい。また、この所定範囲内ではＹ軸方向に傾きを持たせないのがよい。本実施の形態に係る三次元投影モデル３００の円筒面モデル３０１は、最下端の位置の路面からの高さを円筒面モデル３０１の長さに渡ってゼロ（路面と一致）としている。これにより、所定範囲内の撮像画像中の直線は変換画像でも直線として表示されることとなる。
【００４７】
しかし、図７に示す撮像装置２による撮像画像の半分程度は、車両後端から２ｍ程度の範囲であることが多い。このような画像においては、必ずしも上記の５ｍにかかわる必要は無く、十分な空間解像度の得られる２ｍ以内のみにおいてＹ軸方向に傾きを設けず、それ以遠は、Ｘ軸方向と同様に、徐々に傾きを大きくすることでも良い。
【００４８】
本実施の形態に係る図５、図６の変換画像では、車両後端から２ｍの範囲を示す距離表示線１０より手前側では直線が直線として表示される様にしており、２ｍより遠い範囲では、楕円球モデル３０２を用いて画像変換をしている。この所定範囲をどの範囲にするかは、撮像装置２の設置位置や解像度、仮想視点の位置等により異なってくるが、運転支援の観点からは、車両１の後端から駐車枠の範囲を所定範囲として楕円によるモデル３０１を適用し、それ以遠に対して、楕円球のモデル３０２を適用するのが望ましい。
【００４９】
本実施の形態では、三次元投影モデルとして、楕円の円筒面モデル３０１と楕円の球面モデル３０２とにより三次元投影モデルを構成している。これにより、これにより、楕円の球面モデル３０２と楕円の円筒面モデル３０１とは連続的に結合され、その結果、図５、図６に示されるように、変換画像は、三次元投影モデル３００のモデル３０１とモデル３０２との境界面においても滑らかに結合され、その境界を識別することはできず、境界面に違和感を覚えることは無い。
【００５０】
上述した様に、図８に示す範囲５０４の投影モデルの傾きを調整することにより、この範囲５０４の立体物の画像歪みの程度を調整することができる。例えば、図５に示す様に、この範囲５０４の投影モデルに適度な傾きを設けることで、広角レンズを用いた撮像装置により撮影した画像の歪み具合が調整でき、遠方にある他車両の拡大率を実際のリアウィンドから覗いた時の距離感に近くなるように設定することが可能となる。
【００５１】
比較のために示した図４は、図３の広角カメラの画像に対して、広角レンズのレンズ歪みをとった画像を示す図である。このレンズ歪みを除去しただけでは、広角レンズを使用したことによる遠近感の強調の効果が緩和されていないことが確認できる。即ち、遠くの画像がより遠くに見えて、遠近感が強調されたままの画像となっている。これに対し、本実施の形態では、楕円の球面モデル３０２を用いて遠方画像を変換しているため、図５に示されるように、遠近感が緩和されており、見やすい画像となっている。
【００５２】
図７の円筒面モデル３０１と球面モデル３０２の楕円の長軸と短軸の長さ、並びに、仮想カメラ２ａの視点位置を調整することにより、図５に示す画像を図６に示す画像のように変換してモニタ４に表示することができる。即ち、自車両１の路面上の幅ｄが、画面上で拡大する様に表示することができる。この図６では、車両の両端位置が、画面両端位置から画面幅の１５％の範囲内に入るように図５の画像を変換して表示している。
【００５３】
このように拡大表示することで、運転者から死角となる自車両１の後端近傍の画像がモニタ４の画面いっぱいに表示され、運転者に安心感を与えることが可能となる。その結果、運転者は、安心感を持って運転操作を実施できる。
【００５４】
また同様に、円筒面モデル３０１と球面モデル３０２の楕円の長軸と短軸の長さ、並びに仮想カメラ２ａの位置とを調整することにより、図５、図６に示す様に、自車両１のバンパ画像１ａが直線となるように表示することができる。バンパー画像１ａが図３や図４に示されるように曲線表示される場合と比べて違和感がなくなり、運転操作がし易くなる。
【００５５】
更に、本実施の形態では、例えば図６に示す様に、車幅を示すマーク１１や、車両進行方向に平行で車両幅ｄよりも少し外側を示す路面上の直線をガイド線１２として表示する。これらを表示することで、路側や駐車枠と自車両との間の相対位置関係が画面上から直感的に把握でき、的確な運転操作の一助となる。
【００５６】
尚、上述した円筒面モデルと球面モデルの組み合わせでなる三次元投影モデルは、必ずしも方程式により定義される曲面で構成される必要はなく、適用範囲と性質によって決められるものである。例えば、楕円の円筒面モデル３０１は必ずしも楕円方程式に従う楕円形状でなければならないものではなく、下に凸な三次元投影モデルであって、変換された画像の歪みが画像全体に分散される形状であればよい。球面モデル３０２においても同様である。
【００５７】
【発明の効果】
本発明によれば、車両近傍の撮像画像を歪みの少ない画像としてモニタ表示することができる運転支援装置を提供可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る運転支援装置の車両への取り付け構成図
【図２】本発明の一実施の形態に係る運転支援装置の詳細構成図
【図３】本発明の一実施の形態に係る運転支援装置の撮像装置によって撮像された広角カメラの撮像画像を示す模式図
【図４】本発明の一実施の形態に係る運転支援装置の撮像装置によって撮像された広角カメラの撮像画像からレンズ歪みを除去した画像の模式図
【図５】本発明の一実施の形態に係る運転支援装置によるモニタ表示画面を示す模式図
【図６】本発明の一実施の形態に係る運転支援装置によるモニタ表示画面の変形例を示す模式図
【図７】本発明の一実施の形態に係る運転支援装置で用いる三次元投影モデルの説明図
【図８】本発明の一実施の形態に係る三次元投影モデルの説明図
【図９】本発明の一実施の形態に係る三次元投影モデルによる変換画像の変換例を示す模式図
【図１０】従来の運転支援装置で用いられる三次元投影モデルの説明図
【図１１】従来の運転支援装置で用いられる三次元投影モデルによる変換画像の模式図
【図１２】従来の運転支援装置による変換画像の変形例を示す模式図
【図１３】従来の運転支援装置で用いられる別の三次元投影モデルの説明図
【図１４】従来の運転支援装置で用いられる図１３の三次元投影モデルによる画像歪みを例示する模式図
【符号の説明】
１ 自車両
１ａ バンパ画像
２ 撮像装置
３ 画像合成変換装置
４ 表示装置（モニタ）
１０ 距離表示ガイド線
１１ 車幅表示ガイド線
１２ 路面上の直線ガイド線
２１、２３ カメラ
２２、２４ フレームメモリ
３１ 画像合成手段
３２ マッピングテーブル参照手段
３２ａ 変換アドレスメモリ
３２ｂ 必要度メモリ
３３ 映像信号生成手段
３００ 三次元投影モデル
３０１ 円筒面モデル（楕円）
３０２ 球面モデル（楕円）
５０６ 平面モデル
５２１、５２２ 楕円の円筒面モデル
Claims (11)
- 路面上の車両の周囲を撮像する撮像手段と、前記撮像手段による撮像画像を仮想視点から見た画像に変換するに際し前記路面側に凸形状で且つ前記車両の進行方向先端部から所定範囲内では前記路面からの高さが無変化な三次元投影モデルを用いて画像変換を行う画像変換手段と、前記画像変換手段により変換された画像を表示する表示手段とを備えたことを特徴とする運転支援装置。
- 前記三次元投影モデルには、前記車両の幅の方向の予め決められた範囲を超えた領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする請求項１に記載の運転支援装置。
- 前記三次元投影モデルには、前記所定範囲を超えた前記車両の進行方向の領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする請求項１または請求項２に記載の運転支援装置。
- 前記三次元投影モデルは、端点以外の全領域で微分可能な連続する曲面で形成されていることを特徴とする請求項１乃至請求項３のいずれかに記載の運転支援装置。
- 前記三次元投影モデルは、前記路面側に凸形状の円筒面と、前記円筒面の端部に滑らかに連続する球面とを有することを特徴とする請求項４に記載の運転支援装置。
- 前記所定範囲は、前記車両の進行方向の長さを一般的な駐車枠の長さ５ｍの１２０％以内の大きさとし、幅を一般的な駐車枠の幅３ｍの８０％から１２０％の範囲の任意の大きさとし、前記円筒面に投影されることを特徴とする請求項５に記載の運転支援装置。
- 前記円筒面は楕円の円筒面であり、前記円筒面に投影した前記路面上の前記円筒面の中心軸に平行な等間隔の格子線間の最大幅と最小幅の比が少なくとも前記所定範囲において８０％となる楕円を前記三次元投影モデルとしたことを特徴とする請求項５または至請求項６に記載の運転支援装置。
- 前記表示手段の画面に表示される前記車両の後端画像の左右両端が、前記画面の両端位置から画面幅の少なくとも１５％の範囲内に入る様に前記三次元投影モデルと前記仮想視点の位置とが設定されることを特徴とする請求項５乃至請求項７のいずれかに記載の運転支援装置。
- 前記所定範囲内における車両後端の直線形状が前記表示手段の画面上で直線画像として表示される様に前記三次元投影モデルと前記仮想視点の位置を設定したことを特徴とする請求項５乃至請求項８のいずれかに記載の運転支援装置。
- 前記三次元投影モデルを用いて変換した画像に、前記車両の進行方向に平行で且つ車両幅よりも所定値だけ外側を示す路面上の直線を示すガイド線を重畳して前記表示手段の画面に表示することを特徴とする請求項１乃至請求項９のいずれかに記載の運転支援装置。
- 前記画像変換手段は、前記三次元投影モデルに基づく変換アドレスを格納したマッピングテーブルを用いて前記撮像画像を変換することを特徴とする請求項１乃至請求項１０のいずれかに記載の運転支援装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002171484A JP3871614B2 (ja) | 2002-06-12 | 2002-06-12 | 運転支援装置 |
| KR1020047005845A KR100937750B1 (ko) | 2002-06-12 | 2003-05-23 | 운전 지원 장치 |
| PCT/JP2003/006482 WO2003107273A1 (ja) | 2002-06-12 | 2003-05-23 | 運転支援装置 |
| EP20030730616 EP1513101A4 (en) | 2002-06-12 | 2003-05-23 | DRIVER ASSISTANCE SYSTEM |
| US10/488,458 US7554573B2 (en) | 2002-06-12 | 2003-05-23 | Drive assisting system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002171484A JP3871614B2 (ja) | 2002-06-12 | 2002-06-12 | 運転支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004021307A true JP2004021307A (ja) | 2004-01-22 |
| JP3871614B2 JP3871614B2 (ja) | 2007-01-24 |
Family
ID=29727811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002171484A Expired - Lifetime JP3871614B2 (ja) | 2002-06-12 | 2002-06-12 | 運転支援装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7554573B2 (ja) |
| EP (1) | EP1513101A4 (ja) |
| JP (1) | JP3871614B2 (ja) |
| KR (1) | KR100937750B1 (ja) |
| WO (1) | WO2003107273A1 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006287892A (ja) * | 2005-03-09 | 2006-10-19 | Sanyo Electric Co Ltd | 運転支援システム |
| JP2007043318A (ja) * | 2005-08-01 | 2007-02-15 | Nissan Motor Co Ltd | 車両用周囲監視装置及び車両周囲監視方法 |
| JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
| JP2007104538A (ja) * | 2005-10-07 | 2007-04-19 | Nissan Motor Co Ltd | 車両用死角映像表示装置 |
| EP1803602A1 (en) | 2005-12-27 | 2007-07-04 | Aisin Aw Co., Ltd. | Driving assist method and driving assist apparatus |
| JP2008141643A (ja) * | 2006-12-05 | 2008-06-19 | Clarion Co Ltd | 画像生成装置 |
| JP2008140401A (ja) * | 2007-12-14 | 2008-06-19 | Sanyo Electric Co Ltd | 運転支援装置 |
| WO2009004907A1 (ja) * | 2007-07-05 | 2009-01-08 | Aisin Seiki Kabushiki Kaisha | 車両の周辺監視装置 |
| WO2011129276A1 (ja) * | 2010-04-12 | 2011-10-20 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
| WO2011148455A1 (ja) * | 2010-05-25 | 2011-12-01 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
| JP2012053601A (ja) * | 2010-08-31 | 2012-03-15 | Hitachi Information & Communication Engineering Ltd | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム |
| JP2012099899A (ja) * | 2010-10-29 | 2012-05-24 | Hitachi Information & Communication Engineering Ltd | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム |
| JP2013137698A (ja) * | 2011-12-28 | 2013-07-11 | Suzuki Motor Corp | 俯瞰画像提示装置 |
| JP2014524810A (ja) * | 2011-07-18 | 2014-09-25 | ドッグ マイクロシステムズ インコーポレーテッド | レンダリングを行う方法及びシステム |
| US8982212B2 (en) | 2011-06-07 | 2015-03-17 | Komatsu Ltd. | Surrounding area monitoring device for work vehicle |
| WO2015104860A1 (ja) * | 2014-01-10 | 2015-07-16 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
| JP2016213759A (ja) * | 2015-05-12 | 2016-12-15 | 萩原電気株式会社 | 後方モニタ |
| WO2019058585A1 (ja) * | 2017-09-20 | 2019-03-28 | アイシン精機株式会社 | 表示制御装置 |
| JP2019526105A (ja) * | 2016-06-23 | 2019-09-12 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 |
| JP2019529242A (ja) * | 2016-09-14 | 2019-10-17 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 車両の車両周辺のバックミラー光景の提供方法 |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005088970A1 (ja) * | 2004-03-11 | 2005-09-22 | Olympus Corporation | 画像生成装置、画像生成方法、および画像生成プログラム |
| US7782374B2 (en) * | 2005-03-03 | 2010-08-24 | Nissan Motor Co., Ltd. | Processor and processing method for generating a panoramic image for a vehicle |
| JP4715334B2 (ja) * | 2005-06-24 | 2011-07-06 | 日産自動車株式会社 | 車両用画像生成装置および方法 |
| JP4727329B2 (ja) * | 2005-07-15 | 2011-07-20 | パナソニック株式会社 | 画像合成装置及び画像合成方法 |
| EP1916846B1 (en) * | 2005-08-02 | 2016-09-14 | Nissan Motor Company Limited | Device and method for monitoring vehicle surroundings |
| US20090128630A1 (en) * | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
| JP5159070B2 (ja) * | 2006-08-31 | 2013-03-06 | アルパイン株式会社 | 車両周辺画像表示装置及び表示方法 |
| JP4853712B2 (ja) * | 2006-12-28 | 2012-01-11 | アイシン精機株式会社 | 駐車支援装置 |
| JP2009053818A (ja) * | 2007-08-24 | 2009-03-12 | Toshiba Corp | 画像処理装置及びその方法 |
| JP2009060404A (ja) * | 2007-08-31 | 2009-03-19 | Denso Corp | 映像処理装置 |
| DE102007049821A1 (de) * | 2007-10-16 | 2009-04-23 | Daimler Ag | Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit |
| TW200925023A (en) * | 2007-12-07 | 2009-06-16 | Altek Corp | Method of displaying shot image on car reverse video system |
| US8884883B2 (en) * | 2008-01-25 | 2014-11-11 | Microsoft Corporation | Projection of graphical objects on interactive irregular displays |
| US9459784B2 (en) | 2008-07-25 | 2016-10-04 | Microsoft Technology Licensing, Llc | Touch interaction with a curved display |
| US8704907B2 (en) * | 2008-10-30 | 2014-04-22 | Panasonic Corporation | Camera body and camera system with interchangeable lens for performing image data correction |
| US8446367B2 (en) * | 2009-04-17 | 2013-05-21 | Microsoft Corporation | Camera-based multi-touch mouse |
| JP5376223B2 (ja) * | 2009-05-18 | 2013-12-25 | アイシン精機株式会社 | 運転支援装置 |
| JP5135380B2 (ja) * | 2010-04-12 | 2013-02-06 | 住友重機械工業株式会社 | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム |
| DE102010015079A1 (de) | 2010-04-15 | 2011-10-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug |
| JP5413516B2 (ja) | 2010-08-19 | 2014-02-12 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
| JP5558973B2 (ja) | 2010-08-31 | 2014-07-23 | 株式会社日立情報通信エンジニアリング | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム |
| DE102010042276A1 (de) | 2010-10-11 | 2012-04-12 | Robert Bosch Gmbh | Sensor, Justageverfahren und Vermessungsverfahren für einen Sensor |
| DE102010042248A1 (de) * | 2010-10-11 | 2012-04-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur optischen Darstellung einer Umgebung eines Fahrzeugs |
| WO2012089258A1 (en) * | 2010-12-29 | 2012-07-05 | Tele Atlas Polska Sp.Z.O.O | Methods for mapping and associated apparatus |
| DE102011010860A1 (de) * | 2011-02-10 | 2012-08-16 | Connaught Electronics Ltd. | Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug |
| JP5124671B2 (ja) * | 2011-06-07 | 2013-01-23 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
| EP2554434B1 (en) * | 2011-08-05 | 2014-05-21 | Harman Becker Automotive Systems GmbH | Vehicle surround view system |
| GB2494414A (en) | 2011-09-06 | 2013-03-13 | Land Rover Uk Ltd | Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display |
| WO2013038818A1 (ja) * | 2011-09-12 | 2013-03-21 | 日産自動車株式会社 | 立体物検出装置 |
| JP5682788B2 (ja) | 2011-09-27 | 2015-03-11 | アイシン精機株式会社 | 車両周辺監視装置 |
| KR101265711B1 (ko) * | 2011-11-30 | 2013-05-20 | 주식회사 이미지넥스트 | 3ｄ 차량 주변 영상 생성 방법 및 장치 |
| DE102012203171A1 (de) * | 2012-02-29 | 2013-08-29 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten |
| US10046700B2 (en) | 2012-05-22 | 2018-08-14 | Mitsubishi Electric Corporation | Image processing device |
| US9225942B2 (en) * | 2012-10-11 | 2015-12-29 | GM Global Technology Operations LLC | Imaging surface modeling for camera modeling and virtual view synthesis |
| CN104520508B (zh) * | 2012-11-08 | 2017-06-30 | 住友重机械工业株式会社 | 铺装机械用图像生成装置以及铺装机械用操作支援系统 |
| US20150077560A1 (en) * | 2013-03-22 | 2015-03-19 | GM Global Technology Operations LLC | Front curb viewing system based upon dual cameras |
| JP6302624B2 (ja) * | 2013-04-24 | 2018-03-28 | 住友重機械工業株式会社 | 画像生成装置 |
| KR101491324B1 (ko) * | 2013-10-08 | 2015-02-06 | 현대자동차주식회사 | 차량용 영상 획득 장치 |
| DE102014116441A1 (de) * | 2014-11-11 | 2016-05-12 | Connaught Electronics Ltd. | Verfahren zum Darstellen einer Sicherheitsinformation, Fahrerassistenzsystem und Kraftfahrzeug |
| EP3308361B1 (de) * | 2015-06-11 | 2024-04-10 | Continental Autonomous Mobility Germany GmbH | Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung |
| DE102016225066A1 (de) | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
| US10268907B2 (en) * | 2017-01-11 | 2019-04-23 | GM Global Technology Operations LLC | Methods and systems for providing notifications on camera displays for vehicles |
| JP6975003B2 (ja) * | 2017-09-29 | 2021-12-01 | 株式会社デンソー | 周辺監視装置およびその校正方法 |
| CN110045721B (zh) * | 2018-01-17 | 2022-10-28 | 大陆泰密克汽车系统（上海）有限公司 | 用于辅助车辆行驶的方法及其装置 |
| TWI688502B (zh) * | 2018-02-14 | 2020-03-21 | 先進光電科技股份有限公司 | 用於警告車輛障礙物的設備 |
| DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
| CN112930557A (zh) * | 2018-09-26 | 2021-06-08 | 相干逻辑公司 | 任何世界视图生成 |
| DE102022214210A1 (de) | 2022-12-21 | 2024-06-27 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH039952A (ja) * | 1989-06-08 | 1991-01-17 | Nippon Steel Chem Co Ltd | 熱可塑性樹脂組成物 |
| JPH0399952A (ja) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
| US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
| US6498620B2 (en) * | 1993-02-26 | 2002-12-24 | Donnelly Corporation | Vision system for a vehicle including an image capture device and a display system having a long focal length |
| US6550949B1 (en) * | 1996-06-13 | 2003-04-22 | Gentex Corporation | Systems and components for enhancing rear vision from a vehicle |
| CN100438623C (zh) * | 1999-04-16 | 2008-11-26 | 松下电器产业株式会社 | 图象处理装置及监视系统 |
| JP4312883B2 (ja) | 1999-06-29 | 2009-08-12 | 富士通テン株式会社 | 車両の駐車支援装置 |
| JP3624769B2 (ja) * | 1999-09-30 | 2005-03-02 | 株式会社豊田自動織機 | 車両後方監視装置用画像変換装置 |
| JP3301421B2 (ja) | 1999-10-20 | 2002-07-15 | 松下電器産業株式会社 | 車両周囲状況提示装置 |
| JP2001339716A (ja) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | 車両周辺監視装置及び方法 |
| JP4433575B2 (ja) * | 2000-06-16 | 2010-03-17 | 株式会社豊田中央研究所 | 車載撮像装置 |
| JP2002083285A (ja) * | 2000-07-07 | 2002-03-22 | Matsushita Electric Ind Co Ltd | 画像合成装置および画像合成方法 |
| JP3372944B2 (ja) * | 2000-07-19 | 2003-02-04 | 松下電器産業株式会社 | 監視システム |
| JP4629839B2 (ja) * | 2000-09-07 | 2011-02-09 | クラリオン株式会社 | 画像変換装置 |
| JP2002127852A (ja) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
| JP3906896B2 (ja) * | 2000-11-28 | 2007-04-18 | 三菱自動車工業株式会社 | 駐車支援装置 |
| JP2003054340A (ja) * | 2001-08-08 | 2003-02-26 | Yazaki Corp | 駐車支援装置 |
-
2002
- 2002-06-12 JP JP2002171484A patent/JP3871614B2/ja not_active Expired - Lifetime
-
2003
- 2003-05-23 US US10/488,458 patent/US7554573B2/en not_active Expired - Lifetime
- 2003-05-23 EP EP20030730616 patent/EP1513101A4/en not_active Withdrawn
- 2003-05-23 WO PCT/JP2003/006482 patent/WO2003107273A1/ja active Application Filing
- 2003-05-23 KR KR1020047005845A patent/KR100937750B1/ko active IP Right Grant
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4596978B2 (ja) * | 2005-03-09 | 2010-12-15 | 三洋電機株式会社 | 運転支援システム |
| JP2006287892A (ja) * | 2005-03-09 | 2006-10-19 | Sanyo Electric Co Ltd | 運転支援システム |
| JP2007043318A (ja) * | 2005-08-01 | 2007-02-15 | Nissan Motor Co Ltd | 車両用周囲監視装置及び車両周囲監視方法 |
| JP4677847B2 (ja) * | 2005-08-01 | 2011-04-27 | 日産自動車株式会社 | 車両用周囲監視装置及び車両周囲監視方法 |
| JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
| JP4679293B2 (ja) * | 2005-08-08 | 2011-04-27 | 三洋電機株式会社 | 車載パノラマカメラシステム |
| JP2007104538A (ja) * | 2005-10-07 | 2007-04-19 | Nissan Motor Co Ltd | 車両用死角映像表示装置 |
| EP1803602A1 (en) | 2005-12-27 | 2007-07-04 | Aisin Aw Co., Ltd. | Driving assist method and driving assist apparatus |
| JP2008141643A (ja) * | 2006-12-05 | 2008-06-19 | Clarion Co Ltd | 画像生成装置 |
| JP2009012652A (ja) * | 2007-07-05 | 2009-01-22 | Aisin Seiki Co Ltd | 車両の周辺監視装置 |
| WO2009004907A1 (ja) * | 2007-07-05 | 2009-01-08 | Aisin Seiki Kabushiki Kaisha | 車両の周辺監視装置 |
| US8675041B2 (en) | 2007-07-05 | 2014-03-18 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
| JP2008140401A (ja) * | 2007-12-14 | 2008-06-19 | Sanyo Electric Co Ltd | 運転支援装置 |
| WO2011129276A1 (ja) * | 2010-04-12 | 2011-10-20 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
| JP2011221865A (ja) * | 2010-04-12 | 2011-11-04 | Sumitomo Heavy Ind Ltd | 画像生成装置及び操作支援システム |
| US8593454B2 (en) | 2010-04-12 | 2013-11-26 | Sumitomo Heavy Industries, Ltd | Image generation device and operation support system |
| WO2011148455A1 (ja) * | 2010-05-25 | 2011-12-01 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
| US9787946B2 (en) | 2010-05-25 | 2017-10-10 | Fujitsu Limited | Picture processing device and method |
| JP5387763B2 (ja) * | 2010-05-25 | 2014-01-15 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
| JP2012053601A (ja) * | 2010-08-31 | 2012-03-15 | Hitachi Information & Communication Engineering Ltd | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム |
| JP2012099899A (ja) * | 2010-10-29 | 2012-05-24 | Hitachi Information & Communication Engineering Ltd | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム |
| US8982212B2 (en) | 2011-06-07 | 2015-03-17 | Komatsu Ltd. | Surrounding area monitoring device for work vehicle |
| JP2014524810A (ja) * | 2011-07-18 | 2014-09-25 | ドッグ マイクロシステムズ インコーポレーテッド | レンダリングを行う方法及びシステム |
| US9996968B2 (en) | 2011-07-18 | 2018-06-12 | Cadens Medical Imaging Inc. | Method and system for performing rendering using first and second projections |
| JP2013137698A (ja) * | 2011-12-28 | 2013-07-11 | Suzuki Motor Corp | 俯瞰画像提示装置 |
| US10475242B2 (en) | 2014-01-10 | 2019-11-12 | Aisin Seiki Kabushiki Kaisha | Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image |
| WO2015104860A1 (ja) * | 2014-01-10 | 2015-07-16 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
| JPWO2015104860A1 (ja) * | 2014-01-10 | 2017-03-23 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
| JP2016213759A (ja) * | 2015-05-12 | 2016-12-15 | 萩原電気株式会社 | 後方モニタ |
| JP2019526105A (ja) * | 2016-06-23 | 2019-09-12 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 |
| US11145112B2 (en) | 2016-06-23 | 2021-10-12 | Conti Temic Microelectronic Gmbh | Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle |
| JP7008040B2 (ja) | 2016-06-23 | 2022-01-25 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 |
| JP2019529242A (ja) * | 2016-09-14 | 2019-10-17 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 車両の車両周辺のバックミラー光景の提供方法 |
| JP2019057800A (ja) * | 2017-09-20 | 2019-04-11 | アイシン精機株式会社 | 表示制御装置 |
| WO2019058585A1 (ja) * | 2017-09-20 | 2019-03-28 | アイシン精機株式会社 | 表示制御装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003107273A1 (ja) | 2003-12-24 |
| JP3871614B2 (ja) | 2007-01-24 |
| KR100937750B1 (ko) | 2010-01-20 |
| US7554573B2 (en) | 2009-06-30 |
| US20040260469A1 (en) | 2004-12-23 |
| KR20040111329A (ko) | 2004-12-31 |
| EP1513101A1 (en) | 2005-03-09 |
| EP1513101A4 (en) | 2010-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3871614B2 (ja) | 運転支援装置 | |
| JP4786076B2 (ja) | 運転支援表示装置 | |
| JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
| US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
| JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
| TWI574224B (zh) | An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus | |
| WO2015194501A1 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
| JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
| WO2012096058A1 (ja) | 画像生成装置 | |
| WO2000064175A1 (fr) | Dispositif de traitement d'images et systeme de surveillance | |
| JP2013074423A (ja) | 車両周辺監視装置 | |
| JP2018531530A (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| JPWO2010137265A1 (ja) | 車両周囲監視装置 | |
| JP2009524171A (ja) | 複数の画像を結合して鳥瞰図画像にする方法 | |
| JP5658507B2 (ja) | 画像表示システム、画像生成装置、及び、画像表示方法 | |
| JP2008181330A (ja) | 画像処理装置及び画像処理方法 | |
| JPWO2008087707A1 (ja) | 車両用画像処理装置及び車両用画像処理プログラム | |
| JP2016119526A (ja) | 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法 | |
| JP4860835B2 (ja) | パノラマ画像表示方法及びパノラマ画像表示装置 | |
| JP7029350B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3830025B2 (ja) | 描画装置 | |
| JP2012065228A (ja) | 画像処理装置、画像表示システム及び画像表示方法 | |
| JP5049304B2 (ja) | 車両の周辺を画像表示するための装置 | |
| JP2021101515A (ja) | 表示装置、表示方法及び表示プログラム | |
| JP2007028442A (ja) | 画像表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050607 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061017 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3871614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091027 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |