JP2004147210A

JP2004147210A - 運転支援装置

Info

Publication number: JP2004147210A
Application number: JP2002311550A
Authority: JP
Inventors: Kazufumi Mizusawa; 水澤　和史
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2004-05-20

Abstract

【課題】車載の広角カメラで撮像した画像をモニタ画面に表示する場合でも直接人間の目で見た感覚と同様の感覚でモニタ画面の表示画像を見ることができるようにする。
【解決手段】車載カメラ２と、路面上に等間隔に描かれた車両進行方向に隣接する平行線間の距離の比が９０％から１００％の間の所定比にとなるように車載カメラ２による撮影画像を変換処理する画像合成変換手段３と、画像合成変換手段３によって変換処理された車載カメラ２による撮影画像を画面に表示する表示手段４とを備える。これにより、実際の車両の動きと画面上の車両の動きとが一致し、表示画像から受ける錯覚がなくなる。
【選択図】　図３

Description

【０００１】
【発明の属する技術分野】
本発明は車載の広角カメラで撮像した車両周囲の画像を車載モニタに表示し車両運転を支援する運転支援装置に係り、特に、車載モニタに人間の目の距離感に合った画像を表示して運転者に違和感を与えない様にした運転支援装置に関する。
【０００２】
【従来の技術】
車載カメラを車両のリアトランク部等に後ろ向きに設置し、この車載カメラから得られた車両後方の撮像画像を運転者に提示する運転支援装置が普及し始めている。この車載カメラとしては、通常、広範囲を撮像可能な広角カメラが用いられ、小さなモニタ画面に広い範囲の撮像画像を表示する様にしている。
【０００３】
しかし、広角カメラはレンズ歪みが大きいため、直線が曲線として撮像されてしまい、モニタ画面に表示される画像は見づらい画像になってしまう。そこで、従来から、特許第３３００３３４号公報（特許文献１）に記載されている様に、広角カメラの撮像画像からレンズ歪みを除去し、直線が直線として見える画像に変換し、モニタ画面に表示するようにしている。
【０００４】
図８は、等間隔の格子模様を水平画角１３０°程度の広角レンズを持つ広角カメラで撮影した画像であり、広い範囲が撮像されていることが分かる。しかし、近い範囲では直線が大きく湾曲した曲線として撮像されてしまい、且つ、大きく表示されるため近くに感じられる。一方、遠い範囲は小さく表示されるため一層遠くに感じられ、遠近感が実際より大きな画像となっている。
【０００５】
これに対し、図９は、図８の画像からレンズ歪みを除去した画像であり、直線が直線として表示される様に画像が変換されている。
【０００６】
【特許文献１】
特許第３３００３３４号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、図９に示す画像は、水平画角１３０°程度のレンズを持つ広角カメラによる遠近感がそのまま残った画像であり、遠くの画像は必要以上に小さく、近くの画像は大きく表示されている。この図９において、ラインａ１とラインａ２との距離ｂ１とラインａ２とラインａ３との距離ｂ２の比は、１：０．８３となっており、同様に、距離ｂ２と距離ｂ３との比も１：０．８３となっており、このため、車両を等速でバックさせていても、モニタ画面上で遠くの画像が近づいてくる速度感は等速ではなく、その画像がカメラに近づいて来るに従って加速された動きとなり、広角カメラを通さずに直接人間の目で格子模様を見ながら運転したときの感覚と大きく異なってしまうという問題がある。
【０００８】
本発明の目的は、広角カメラで撮像した画像をモニタ画面に表示する場合でも直接人間の目で見た感覚と同様の感覚でモニタ画面の表示画像を見ることができる運転支援装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成する本発明の運転支援装置は、車両の周囲を撮像する車載カメラと、画面を有する車載の表示手段と、前記車載カメラによる被写体の画像の前記画面上での移動距離が前記被写体と前記車両との間の実際の相対移動距離にほぼ比例するように前記車載カメラの撮像画像を変換して前記画面に表示する画像変換手段とを備えたことを特徴とする。
【００１０】
この構成により、例えば実際の相対移動距離が１ｍの場合に画面上で４ｃｍの移動距離となったとき実際の相対移動距離が５０ｃｍの場合に画面上で２ｃｍの移動距離となり、表示手段に表示された画像の遠近感が人間の目に合った遠近感に近くなり、実際の車両の動きと画面上の車両の動きとが一致し、表示画像から受ける錯覚がなくなる。
【００１１】
上記目的を達成する本発明の運転支援装置は、車両の周囲を撮像する車載カメラと、車両進行方向に直交し且つ３０ｃｍ程度の等間隔で路面上に描かれた平行線間の距離の比が９０％から１００％の間の所定比にとなるように前記車載カメラによる撮影画像を変換処理する画像変換手段と、前記画像変換手段によって変換処理された前記車載カメラによる撮影画像を画面に表示する表示手段とを備えたことを特徴とする。
【００１２】
この構成により、表示手段に表示された画像の遠近感が人間の目に合った遠近感に近くなり、実際の車両の動きと画面上の車両の動きとが一致し、表示画像から受ける錯覚がなくなる。
【００１３】
好適には、上記において、前記画像変換手段は、前記変換処理の他に前記車載カメラのレンズ歪み除去処理を行うことを特徴とする。この構成により、直線が直線として表示手段に表示され、より見やすい画像となる。
【００１４】
更に好適には、上記において、前記画像変換手段は、前記変換処理及び前記レンズ歪み除去処理の他に、前記車載カメラの撮影画像の視点を変換する視点変換処理を行うことを特徴とする。この構成により、運転者の視点を所望の視点に変更でき、路面情報がより見やすくなる。
【００１５】
更に好適には、上記において、前記画像変換手段は、マッピングテーブルで前記変換処理及び前記レンズ歪み除去処理並びに前記視点変換処理を行うことを特徴とする。この構成により、演算処理装置の処理負荷を増やすことなくリアルタイムに画像変換処理が行われ、リアルタイムに表示手段に画像を表示可能となる。
【００１６】
更に好適には、車両後方の車幅と同じ領域で且つ車両後方の少なくとも２ｍの範囲の撮像画像に対して前記変換処理を施すことを特徴とする。この構成により、駐車などの車両後退時に運転者が注視することの多い範囲のみに運転者の錯覚を無くす画像表示を行い、他の範囲に広角カメラで得られた遠方の情報を表示することが可能となる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１８】
（第１の実施の形態）
図１は、本発明の一実施の形態に係る運転支援装置を車両へ取り付けた構成図である。この運転支援装置は、車両１に設置された２台の広角カメラでなる撮像装置２と、撮像装置２の撮像画像を処理する画像合成変換装置３と、画像合成変換処理後の画像を表示する車載モニタ（表示手段）４とを備えて構成される。
【００１９】
撮像装置２は、車両１の後方を撮影するように設置され、撮像装置２で撮像された画像は、画像合成変換装置３によりレンズ歪みが除去され、更に後述するように、広角カメラの撮像画像が人間の目の距離感に合った画像に変換され、車載モニタ４に表示される。
【００２０】
図２は、運転支援装置の詳細構成図である。撮像装置２は、車両後方の左側領域を撮像する様に設置されたカメラ２１及びこのカメラ２１の撮像画像データを一時保持するフレームメモリ２２と、車両後方の右側領域を撮像する様に設置されたカメラ２３及びこのカメラ２３の撮像画像データを一時保持するフレームメモリ２４とを備える。尚、この実施の形態では、車両後方の左右を夫々カメラ２１、２３で撮像し左右の撮像画像を合成する構成としているが、１台のカメラで車両後方の左右を一度に撮像する構成としてもよい。
【００２１】
画像合成変換装置３は、撮像装置２の２つのフレームメモリ２２、２４から取り込んだ車両後方の左右の画像を合成する画像合成手段３１と、画像合成手段３１が合成する画像の各画素のマッピング情報を格納したマッピングテーブル参照手段３２と、画像合成手段３１が合成した画像を映像信号に変換する映像信号生成手段３３とから構成される。
【００２２】
マッピングテーブル参照手段３２は、出力画像（モニタ４に表示する画像）の各画素の位置座標と入力画像（カメラ２１、２３の撮像画像）の各画素の位置座標との対応を示す変換アドレス（マッピングテーブル）を格納した変換アドレスメモリ３２ａと、入力画像の各画素の必要度が記憶された必要度メモリ３２ｂとを備える。
【００２３】
ここで「必要度」とは、例えば左右の入力画像を左右つなぎ合わせて１枚の出力画像を生成する場合に、左右の入力画像が重複する領域の各画素データの値を決めるとき、右側の入力画素の必要度を「０．５」、左側の入力画素の必要度を「０．５」などとして加算演算する値である。また、上記変換アドレスは、合成画像が人間の目の距離感に合った画像となるように予め生成され、マッピングテーブルとして変換アドレスメモリ３２ａに格納されている。
【００２４】
画像合成手段３１は、マッピングテーブル参照手段３２に記録されている変換アドレス（マッピングテーブル）に基づき、フレームメモリ２２、２４内の各画素データを、指定された必要度に応じて混合器３１ａ、３１ｂで合成演算し、更に、合成演算された左右の各画素データを加算器３１ｃで加算することにより出力画素のデータを生成する。
【００２５】
即ち、画像合成手段３１は、例えば、入力画像信号等の適切な同期信号に基づいて動作し、マッピングテーブル参照手段３２に従って２つの異なるカメラ２１、２３から入力される画像を合成したり、各画素位置を変更したりして出力画像を生成することで、リアルタイムに、異なる複数のカメラ２１、２３からの入力画像を滑らかにつなぎ合わせる。
【００２６】
映像信号生成手段３３は、画像合成手段３１から出力される出力画素データを映像信号に変換し、モニタ４に出力する。
【００２７】
カメラ２１、２３は、例えば水平画角１３０°程度の広角レンズを搭載した広角カメラであり、その撮像画像を左右合成して得ることができる車両後方の画像は、図８に示す様に、近いほど大きく、遠いほど小さい画像として表示される。図８に示す例は、車両後方の駐車領域（一般的には、縦がほぼ５ｍ、横がほぼ３ｍの矩形領域。分かりやすくするために、この駐車領域を格子模様で示している。）を広角カメラによって撮像した画像であるが、本実施形態では、この図８の画像を、レンズ歪みを除去し、且つ、人間の目の距離感に合った画像となるように所定のマッピングテーブルを用いて変換する。
【００２８】
人間の目は、水平画角４０°程度のレンズを持ったカメラに相当する。人間の目の距離感に合った画像とは、水平画角４０°程度のカメラによって撮像した画像ということができ、そこで本実施の形態では、水平画角１３０°程度の広角カメラで撮影した画像を、マッピングテーブルを用いて、水平画角４０°程度のカメラで撮影した距離感となるように変換する。図３は、この変換を行い且つレンズ歪みを除去した画像を示す図である。
【００２９】
この図３は、地面上に描かれた１辺３０ｃｍの格子模様を撮像した画像からレンズ歪みを除去した画像であり、格子模様のラインｃ１とラインｃ２との距離ｄ１と、ラインｃ２とライン３との距離ｄ２の比は１：０．９１程度であり、ラインｃ２とラインｃ３との距離ｄ２と、ラインｃ３とラインｃ４との距離ｄ３の比も、１：０．９１程度であり、図３は、以下同様の比を保った画像となっている。
【００３０】
このように、路面上に車両進行方向に等間隔に引かれた平行線同士の距離の比が各平行線間で９０％〜１００％の間の所定比となるように画像変換することにより、図９で説明した不具合すなわち、遠くの画像が近づくにつれて加速するような錯覚を起こすことがなくなり、人間の目の距離感に合った画像となる。
【００３１】
（第２の実施の形態）
図４は、第２の実施の形態に係る画像変換処理後の画像を示す図である。この実施の形態に係る運転支援装置のハードウェア構成は第１の実施の形態と同じであるが、そのマッピングテーブルが異なる。
【００３２】
広角カメラ２１、２３の撮像画像を合成してレンズ歪みを除去し、且つ路面上に引かれた平行線同士の距離の比が９０％〜１００％の間の所定比となるように画像変換するのは第１の実施の形態と同じであるが、この画像変換時に、本実施の形態では、同時に視点変換も行い、路面上の画像を、図１の撮像装置２の実設置位置より例えば１００ｃｍ上方の仮想視点位置から見た画像に変換する。
【００３３】
この様に視点変換することで、モニタ画面を見ている運転者の視点は高くなり、路面上の画像がより見やすくなる。
【００３４】
（第３の実施の形態）
図５は、本発明の第３の実施の形態に係る画像変換処理後の画像を示す図である。この実施の形態に係る運転支援装置のハードウェア構成も第１の実施の形態と同じであるが、そのマッピングテーブルが異なる。
【００３５】
本実施の形態では、車両近くの画像と遠くの画像とに対し夫々異なる変換処理を施して合成している。図５の範囲Ｅ１、例えば車両後端から２ｍ程度の範囲Ｅ１では、図４に示した第２の実施の形態と同じ変換画像を用いている。そして、範囲Ｅ１より遠い範囲Ｅ２に、遠方の撮像画像からレンズ歪みを除去した画像を貼り付けている。
【００３６】
図６は、図５の画像生成方法を説明する図である。今、実際の撮像装置２が実位置Ｒに置かれており、この撮像装置２で実際に車両後方画像を撮像することになる。この撮像画像を、仮想位置Ｖに置かれた仮想カメラ２ａで撮像した画像に視点変換し、路面１０上に投影した画像が図４である。
【００３７】
本実施の形態では更に、車両後端から２ｍの位置に路面に垂直な平面１１を立て、遠方の画像を仮想カメラ２ａから見た画像として平面１１に投影し、得られた画像を図５の範囲Ｅ２に貼り付けている。図７は、撮像装置２の撮像画像を車両後端０ｍに垂直に立てた平面だけに投影したレンズ歪み除去後の画像であり、近い部分の画像は図９よりも更に遠近感が強い画像となっているが、遠い画像の歪みは少なくなっている。
【００３８】
そこで、本実施の形態では、車両後端２ｍの位置に垂直に立てた平面１１への投影画像を図５の範囲Ｅ２に貼り付け、広角カメラで撮像された広範囲な情報を運転者に提示することとしている。
【００３９】
この様に、上述した各実施の形態によれば、広角カメラの撮像画像を人間の目に相当するカメラで撮像された画像に変換してからモニタ画面に表示するため、モニタ画面の表示画像の動きと実際の車両の動きとが一致し、運転者の運転支援を図ることが可能となる。
【００４０】
【発明の効果】
本発明によれば、人間の目の遠近感に合った画像をモニタに表示することができる運転支援装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る運転支援装置の車両への取り付け構成図
【図２】本発明の第１の実施の形態に係る運転支援装置の詳細構成図
【図３】本発明の第１の実施の形態に係る運転支援装置によるモニタ表示画面例を示す図
【図４】本発明の第２の実施の形態に係る運転支援装置によるモニタ表示画面例を示す図
【図５】本発明の第３の実施の形態に係る運転支援装置によるモニタ表示画面例を示す図
【図６】本発明の第３の実施の形態に係る運転支援装置による画像生成方法の説明図
【図７】本発明の第３の実施の形態に係る運転支援装置による画像生成方法の説明図
【図８】従来の広角カメラによる撮像画像を示す図
【図９】従来の広角カメラによる撮像画像からレンズ歪みを除去した画像を示す図
【符号の説明】
１　自車両
２　撮像装置
３　画像合成変換装置
４　表示手段（車載モニタ）
１０　路面
１１　平面
２１、２３　カメラ
２２、２４　フレームメモリ
３１　画像合成手段
３２　マッピングテーブル参照手段
３２ａ　変換アドレスメモリ
３２ｂ　必要度メモリ
３３　映像信号生成手段

Claims

車両の周囲を撮像する車載カメラと、画面を有する車載の表示手段と、前記車載カメラによる被写体の画像の前記画面上での移動距離が前記被写体と前記車両との間の実際の相対移動距離にほぼ比例するように前記車載カメラの撮像画像を変換して前記画面に表示する画像変換手段とを備えたことを特徴とする運転支援装置。
車両の周囲を撮像する車載カメラと、車両進行方向に直交し且つ３０ｃｍ程度の等間隔で路面上に描かれた平行線間の距離の比が９０％から１００％の間の所定比にとなるように前記車載カメラによる撮影画像を変換処理する画像変換手段と、前記画像変換手段によって変換処理された前記車載カメラによる撮影画像を画面に表示する表示手段とを備えたことを特徴とする運転支援装置。
前記画像変換手段は、前記変換処理の他に前記車載カメラのレンズ歪み除去処理を行うことを特徴とする請求項１または請求項２に記載の運転支援装置。
前記画像変換手段は、前記変換処理及び前記レンズ歪み除去処理の他に、前記車載カメラの撮影画像の視点を変換する視点変換処理を行うことを特徴とする請求項３に記載の運転支援装置。
前記画像変換手段は、マッピングテーブルで前記変換処理及び前記レンズ歪み除去処理並びに前記視点変換処理を行うことを特徴とする請求項４に記載の運転支援装置。
車両後方の車幅と同じ領域で且つ車両後方の少なくとも２ｍの範囲の撮像画像に対して前記変換処理を施すことを特徴とする請求項１乃至請求項５のいずれかに記載の運転支援装置。