JP2004240480A - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP2004240480A JP2004240480A JP2003026006A JP2003026006A JP2004240480A JP 2004240480 A JP2004240480 A JP 2004240480A JP 2003026006 A JP2003026006 A JP 2003026006A JP 2003026006 A JP2003026006 A JP 2003026006A JP 2004240480 A JP2004240480 A JP 2004240480A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- obstacle
- unit
- driving support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】運転者が障害物の周囲状況をモニタ画面で直感的且つより精度良く確認することができ、運転者の負担を軽減する。
【解決手段】車両の周囲を車載カメラで撮影し、車両の周囲に存在する障害物を障害物検知手段で検知し、障害物が検知されたとき車載カメラによる撮像画像に対して障害物画像の路面境界位置７２に仮想的なオブジェクト７３を合成した合成画像を生成し、モニタ画面に表示する。これにより、運転者は、障害物の周囲状況を容易且つ直感的に把握可能となる。
【選択図】 図１６
【解決手段】車両の周囲を車載カメラで撮影し、車両の周囲に存在する障害物を障害物検知手段で検知し、障害物が検知されたとき車載カメラによる撮像画像に対して障害物画像の路面境界位置７２に仮想的なオブジェクト７３を合成した合成画像を生成し、モニタ画面に表示する。これにより、運転者は、障害物の周囲状況を容易且つ直感的に把握可能となる。
【選択図】 図１６
Description
【０００１】
【発明の属する技術分野】
本発明は車載カメラで撮影した車両周辺画像を車室内に設置されたモニタ画面に表示して運転者の運転を支援する運転支援装置に係り、特に、車両と周囲の障害物との位置関係をモニタ画面上で容易に把握することができる運転支援装置に関する。
【０００２】
【従来の技術】
車両にカメラを取り付け、車両後方など運転者から死角位置となる映像をモニタ画面に表示し、運転を支援する装置が普及し始めている。例えば、下記の特許文献１には、車載カメラで撮影した映像を、運転者に見やすい画像に変換し、モニタ画面に表示するようにしている。この従来技術を、図３０から図３７を用いて説明する。
【０００３】
図３０は、従来技術で用いている視点変換の説明図である。車両１の後部には車載カメラ２が路面を映すように設置されており、車載カメラ２による映像が運転席に設置されたモニタ画面に表示される様になっている。
【０００４】
このときのモニタ画面の表示例を図３１に示す。この例では、駐車場の白線像１０ａがモニタ画面３に表示されており、図３０中に示す路面上の駐車運転目標点４が、図３１で白線コーナー画像４ａとして表示される。
【０００５】
図３２は、図３０に示す車両１と駐車運転目標４との位置関係を真上から見た図である。車両１の後方に白線１０で仕切られた駐車スペースが並んでいる。この図３２に示す状態をモニタ画面に表示することができれば、運転者にとって車両１と駐車スペースとの相対位置関係が把握しやすくなり、好適である。
【０００６】
そこで、上記の従来技術では、図３０に示す仮想視点５を車両１の上方位置に定め、実際の車載カメラ２による撮影映像を、この仮想視点５に設置した仮想カメラから撮影した映像に変換する様にしている。
【０００７】
図３３は、図３１に示す画像を、仮想視点５から見た映像に視点変換してモニタ画面３に表示した例を示す図である。図３２には、車載カメラ２の撮影範囲６を示してあるが、この撮影範囲内の映像が、図３１の画像を視点変換することで得られ、これをモニタ画面３に表示することで、運転者は自車両１と駐車スペースとの相対位置関係がよく分かる様になる。
【０００８】
【特許文献１】
特開２０００―２２９５４７号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来技術は、次のような課題を有している。この課題を、図３４から図３７を用いて説明する。
【００１０】
図３４は、自車両１の後方に他車両７が存在し、この他車両７が車載カメラ２の画角内に入っている状態を示す図である。車載カメラ２で他車両７のバンパ先端部８を撮影している。この撮影画像をモニタ画面に３に表示した例が図３５であり、他車両画像７ａやパンパ先端部８がモニタ画面３に表示されている。
【００１１】
図３６は、図３４に示す状態を上方から見た図である。この図３４に示す状態がモニタ画面に表示されれば、運転者にとって自車両１と他車両７との相対位置関係が容易に把握できる画像となるため好ましい。しかし、この場合には、図３０から図３３で説明した視点変換を施すと、他車両７の画像が次に説明する理由により大きく歪んだ画像となってしまう。
【００１２】
車載カメラ２に搭載されている固体撮像素子を構成する或る画素は、図３４に示す様に他車両７のバンパ先端部８を映しているが、このパンパ先端部８は路面１１から浮いた位置に存在するため、この画素は、視線方向９を延ばして路面１１と交差した箇所１２も映している。即ち、車載カメラ２では、バンパ先端部８と路面交差箇所１２とを区別することができない。
【００１３】
上述した従来技術の視点変換は、車載カメラ２の撮像画像が路面１１に描かれた画像であるとして仮想視点５からの映像に変換するものであるため、視点変換後の画像では、バンパ先端部８が路面交差箇所１２にあるものとして変換されてしまう。このため、図３７に示す様に、実際のバンパ先端部８は、モニタ画面３上では、符号８ａで示す位置に後退した様な画像となってしまう。即ち、路面１１から浮いた位置に存在する障害物は、視点変換画像では実際より遠くに存在する様に表示されてしまう。
【００１４】
以上は、視点変換した画像の不具合について述べたものであるが、視点変換しない画像であっても問題がある。それは、三次元物体である他車両７や路面１１を車載カメラ２で撮像しこれを二次元平面のモニタ画面３に表示しても、撮像画像を立体表示できないため、この場合の障害物である他車両７のバンパ先端部８がどれだけ自車両１に近づいているのを精度良くモニタ画面３上で確認することができないという問題である。
【００１５】
本発明は、上述した従来の運転支援装置が有する課題を解決するために為されたものであり、その目的は、運転者が障害物の周囲状況を直感的に且つより精度良く確認することができ、運転者の負担を軽減することができる運転支援装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明の運転支援装置は、車両の周囲を撮影する撮像手段と、前記車両の周囲に存在する障害物を検知する障害物検知手段と、前記障害物検知手段が前記障害物を検知したとき前記撮像手段による撮像画像に前記撮像画像中の障害物画像の路面境界位置に仮想的なオブジェクトを合成した合成画像を生成する画像合成手段と、前記画像合成手段により生成された前記合成画像を表示する表示手段とを備えることを特徴とする。
【００１７】
この構成により、運転者は表示手段の画面を見ることで、障害物の周囲状況を直感的に且つ精度良く把握可能となり、運転者の負担が軽減する。
【００１８】
本発明の運転支援装置は、車両の周囲を撮影する撮像手段と、前記車両の周囲に存在する障害物を検知する障害物検知手段と、前記障害物検知手段が前記障害物を検知したとき前記撮像手段による撮像画像に前記撮像画像中の障害物画像の路面境界位置に仮想的なオブジェクトを合成した合成画像を生成すると共に前記合成画像を視点変換した視点変換画像を生成する画像合成手段と、前記画像合成手段により生成された前記視点変換画像を表示する表示手段とを備えることを特徴とする。
【００１９】
この構成により、運転者は表示手段の画面を見ることで、障害物の周囲状況を直感的に且つ精度良く把握可能となり、運転者の負担が軽減する。
【００２０】
本発明の運転支援装置の前記障害物検知手段は、前記撮像手段による撮像画像を解析して障害物を検知することを特徴とする。この構成により、障害物検知のための特別な装置が不要となる。
【００２１】
本発明の運転支援装置の前記撮像手段は、垂直方向に異なる位置に設置された少なくとも２台の撮像手段で構成され、前記障害物検知手段は、前記撮像手段の各々の撮影画像を比較して前記障害物を検知することを特徴とする。この構成により、ステレオ測距により簡単且つ精度よく障害物の検知が可能となる。
【００２２】
本発明の運転支援装置の前記画像合成手段は、前記車両から前記障害物までの距離に応じて前記オブジェクトの表示を変化させて前記合成画像を生成することを特徴とする。この構成により、運転者はモニタ画面の表示だけで障害物までの距離を把握可能となる。
【００２３】
本発明の運転支援装置の前記画像合成手段は、前記車両からの距離を示すガイド線を合成して前記合成画像を生成することを特徴とする。この構成により、運転者は画面を目視することで具体的な距離感を得ることが可能となる。
【００２４】
本発明の運転支援装置の前記画像合成手段は、前記車両の予測軌跡を示すガイド線を合成して前記合成画像を生成することを特徴とする。この構成により、運転者はモニタ画面上で自車両の進行方向を確認可能となる。
【００２５】
本発明の運転支援装置の前記画像合成手段は、前記障害物検知手段の検知した障害物が前記車両の予測軌跡上に存在し前記車両から所定距離内に近づいたとき前記車両から最も近い前記オブジェクトを強調表示する合成画像を生成することを特徴とする。この構成により、運転者は、障害物に接近したことを容易に認識可能となる。
【００２６】
本発明の運転支援装置で用いる前記オブジェクトは三次元画像であることを特徴とする。この構成により、障害物が立体物であると容易に把握可能となる。
【００２７】
本発明の運転支援装置で用いる前記オブジェクトは二次元画像であり、同系色の少なくとも２色によって色分け表示されることを特徴とする。この構成により、オブジェクトの合成が容易になる。
【００２８】
本発明の運転支援装置で用いる前記二次元画像のオブジェクトは、上部と側部とで異なる色に塗り分けられ、前記上部が前記側部より明るい色で表示されることを特徴とする。この構成により、二次元のオブジェクトであってもモニタ画面上で立体物と認識させることが可能となる。
【００２９】
本発明の運転支援装置で用いる前記オブジェクトの高さは、前記障害物の高さに応じて調整されることを特徴とする。この構成により、障害物の高さをモニタ画面上で認識可能となる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００３１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る運転支援装置のブロック構成図であり、図２は、本実施の形態に係る運転支援装置の撮像手段である車載カメラの取り付け図である。
【００３２】
図２に示す様に、本実施の形態では、２台の車載カメラ１５、１６を車両１７に取り付ける。１台目の車載カメラ１５と２台目の車載カメラ１６とは、垂直線上１８に沿って平行に１０ｃｍの間隔をあけた位置に設置され、それぞれの路面１９からの高さは、１００ｃｍと１１０ｃｍである。
【００３３】
車載カメラ１５の視線方向２０は、水平方向から路面１９に向かって４０度の角度で下向きとなるように設置され、車載カメラ１６の視線方向２１も全く同じに、水平方向から路面１９に向かって４０度の角度で下向きとなるように設置される。即ち、２台の車載カメラ１５、１６の視線方向２０、２１は平行であり、また、２台の車載カメラ１５、１６の夫々の視野範囲２２、２３も垂直方向に約９０度となっている。
【００３４】
この様に２台の車載カメラ１５、１６を車両１７に設置することで、設置高さが１０ｃｍ違うだけで同じ画像が撮影されることになる。図３は、車載カメラ１５による撮影映像を示す画面１５ａであり、図４は、車載カメラ１６による撮影映像を示す画面１６ａである。両方の撮影映像は、水平方向では殆ど同一であり、垂直方向の画像位置だけが変化した画像となっている。
【００３５】
車載カメラ１６は車載カメラ１５に対して１０ｃｍだけ設置位置が高いため、画面１６ａ上に映る無限遠方の水平線画像２５の位置は画面１５ａの無限遠方の水平線画像２５の位置と同じであるが、車載カメラ１５、１６から近くに位置する箇所、例えば、路面１９上に位置する白線上の任意点画像２６や、他車両バンパ上の任意点画像２７は、画面上、車載カメラ１５による撮影映像の方が車載カメラ１６による撮影映像に比べて若干上側にずれている。
【００３６】
この両画面１５ａ、１６ａ間の画像の上下方向のずれは、路面１９上の物体の画像でも、路面１９から浮いた位置に存在する物体の画像でも生じる。しかし、車載カメラ１５、１６に近い位置に存在する物体であれば、設置位置が垂直方向に１０ｃｍ異なる車載カメラ１５、１６で視差が生じ、路面１９上の物体の画像で生じるずれと、路面１９から浮いた位置に存在する物体の画像で生じるずれとはずれ量が異なってくる。
【００３７】
そこで、本実施の形態に係る運転支援装置では、詳細は後述するように、このずれ量の違いから、車両１７近くの路面１９から浮いた位置に存在する障害物を検出し、モニタ画面上の障害物画像に加えて、運転者に注意を喚起する三次元オブジェクトを表示する様にしている。
【００３８】
このため、本実施の形態に係る運転支援装置は、図１に示す様に、２台の車載カメラ（撮像手段）１５、１６と、車載カメラ１５の撮影画像を取り込んで撮影画像中の水平エッジ部分を抽出する水平エッジ抽出手段３１と、この水平エッジ抽出手段３１によって水平エッジ部分が抽出された画像に対して図７で説明するブロックを設定するブロック設定手段３２と、車載カメラ１６の撮影画像を取り込んで撮影画像中の水平エッジ部分を抽出する水平エッジ抽出手段３３と、車載カメラ１５、１６間のデフォルトの視差データを車両重量の変化による車両高さや車両の傾き即ちカメラ１５、１６の路面１９からの高さや傾きに基づいて算出するデフォルト視差データ算出手段３４と、ブロック設定手段３２の出力信号と水平エッジ抽出手段３３の出力信号とデフォルト視差データ算出手段３４の出力信号とにより車載カメラ１５、１６の撮影映像間の視差の違いを探索する探索手段３５とを備える。
【００３９】
本実施の形態に係る運転支援装置は更に、探索手段３５の探索結果からサブピクセル精度の視差と信頼性判定を行うサブピクセル推定信頼性判定手段３６と、車両重量変化による車両高さや車両の傾き等の車両姿勢を検出する車両姿勢検出手段３７と、サブピクセル推定信頼性判定手段３６の出力信号と車両姿勢検出手段３７の出力信号とデフォルト視差データ算出手段３４の出力信号とから障害物を検知する障害物検知手段３８と、三次元（図面では３Ｄと略記する。）オブジェクトを記憶した３Ｄオブジェクト記憶手段３９と、車両１７のハンドル舵角を検出する舵角情報検出手段４０と、舵角情報検出手段４０の検出信号により車両１７の軌跡を算出すると共に障害物検知手段３８の検出信号により障害物まで距離を求める軌跡算出手段４１と、障害物検知手段３８の出力信号と３Ｄオブジェクト記憶手段３９の出力信号と軌跡算出手段４１の算出結果とを受けて車載カメラ１６の撮影映像に対して画像合成を行す３Ｄ画像合成手段４２と、３Ｄ画像合成手段４２の出力画像をモニタ画面に表示する表示手段４３とを備える。
【００４０】
以下、この運転支援装置の動作を説明する。車載カメラ１５の撮影映像と車載カメラ１６の撮影映像の垂直方向の位置変化は、図３の画像と図４の画像を重ねた図５に示すズレ量５０、５１となって現れる。このズレ量５０、５１が、車載カメラ１５、１６の視差である。ズレ量５０は、路面１９上に描かれた白線の視差であり、ズレ量５１が路面１９から浮いた位置のパンパの視差である。
【００４１】
図１に示す水平エッジ抽出手段３１、３３では、車載カメラ１５、１６の撮影画像について、下式に示すような操作を施して、水平エッジの抽出を行う。
【００４２】
Ｌ’（ｘ，ｙ）＝２＊Ｌ（ｘ，ｙ）−Ｌ（ｘ，ｙ−１）−Ｌ（ｘ，ｙ＋１）
ここで、Ｌ：画像の輝度信号
ｘ，ｙ：水平、垂直の画素位置
である。
【００４３】
この操作により、図３の画像は図６に示す様に、画面上水平方向に近いエッジが強調される。例えば、バンパのエッジ５２や白線エッジ５３が強調される。また、画面上垂直方向に近いエッジは弱められる。例えば、駐車スペースを示す白線エッジ５４や車体は縦方向のエッジ５５は弱められる。
【００４４】
ブロック設定手段３２は、車載カメラ１５の撮影画像の水平エッジ強調画像について、視差探索のためのブロックの設定を行う。図７は、そのブロック設定説明図であり、垂直方向の２画素おきの走査線５６に従って、Ｌ’（ｘ，ｙ）の極大点と極小点を求め、その点を中心とした縦横５×５画素のブロック５７を設定する。このブロック５７は、画面の水平エッジ上に重なりを持って複数配置される。
【００４５】
次に、車両姿勢検出手段３７によって検出された車両高さや傾きに基づいたデフォルト視差データについて説明する。デフォルト視差データとは、図８に示す様に、２台の車載カメラ１５、１６が路面１９上の或る点５８を映していると仮定したときに生じる視差を車両姿勢に基づいて予め計算したものである。図８で、路面１９上の点５８の視差は、角度θとして計算される。
【００４６】
この視差θは、車載カメラ１５、１６から遠いところと近いところでは異なった値をとる。このため、画面上では、図９に示す様に、縦方向の位置によって異なった値をとる。無限遠方の水平線２５の位置のデフォルト視差θ０は“０”であるが、それから車載カメラ１５、１６の方向に近づくに従って、即ち、画面で下方向に下がるに従って、θ１、θ２、…とでデフォルト視差は大きくなる。それから更に下がると、今度は車載カメラの視線方向が垂直方向に近くなるので、デフォルト視差θｎは小さくなる。
【００４７】
路面１９より上方に浮いた位置に存在する物体は、このデフォルト視差θ０、θ１、…、θｎより大きな視差を生じるので、探索手段３５は、このデフォルト視差を探索の初期値として、さらに大きい視差の方向に探索を行う。
【００４８】
探索視差の上限は、次のようにして決定する。図１０に示す様に、車両からの距離５０ｃｍの垂直な壁６０と車載カメラ１５の真下から６０度の角度を持つ壁６１を仮定したときの視差を概算する。このときの視差６３の画面中の値を、探索視差の上限値とする。
【００４９】
探索手段３５は、探索の初期値から上限値までの間で、５×５画素の各ブロック５７の信号Ｌ’（ｘ＋ｊ，ｙ＋ｉ）について、車載カメラ１６からの画像信号Ｌ３’に対して下式に示す相関値Ｆが最大となる視差ＤＹを探索する。
【００５０】
Ｆ＝ ΣｉΣｊ Ｌ’（ｘ＋ｊ，ｙ＋ｉ）＊Ｌ３’（ｘ＋ｊ，ｙ＋ｉ＋ＤＹ）
ここで、ｉ＝−２〜＋２
ｊ＝−２〜＋２
である。
【００５１】
サブピクセル推定信頼性判定手段３６は、探索手段３５で求められた視差ＤＹと相関値について更に解析を行う。まず、相関値Ｆと、ブロック信号Ｌ’（ｘ＋ｊ，ｙ＋ｉ）の自己相関値Ｓを次式で求める。
【００５２】
Ｓ＝ ΣｉΣｊ Ｌ’（ｘ＋ｊ，ｙ＋ｉ）＊Ｌ’（ｘ＋ｊ，ｙ＋ｉ）
ここで、ｉ＝−２〜＋２
ｊ＝−２〜＋２
である。
【００５３】
そして、相関値Ｆと自己相関値Ｓとの比Ｆ／Ｓが、閾値０．７５未満の時は、信頼性なしと判定する。また、信頼性ありと判定されたブロック５７については、図１１に示すように、１画素単位の視差ＤＹの周囲の相関値Ｆを用いて、２次式で補間した曲線６４の最大値６５を求め、この最大値６５を示す位置を、サブピクセル精度の視差ＤＹ’とする。
【００５４】
サブピクセル推定信頼性判定手段３６は、各ブロック５７について、このサブピクセル精度の視差ＤＹ’と信頼性判定結果を出力する。
【００５５】
障害物検知手段３８は、サブピクセル推定信頼性判定手段３６の出力である各ブロック５７についてのサブピクセル精度の視差ＤＹ’及び信頼性判定結果と、路面データおよびデフォルト視差データを基に、車載カメラ１６の撮影画像の画面中のどこに路面１９から浮いた障害物が存在するかを解析する。
【００５６】
図１２に示す様に、信頼性ありと判定されたブロック５７を、検出された視差ＤＹ’分だけ画面上でｙ方向に動かした位置には、車載カメラ１６による撮影画像中の水平エッジが存在する。図１３に示すように、検出視差ＤＹ’がデフォルト視差データに一致する水平エッジ６６は、路面１９上に存在すると判断でき、また、一致しない水平エッジ６７は、路面１９より上方に浮いた位置に存在すると判断できる。障害物検知手段３８は、路面１９より上方の浮いた位置に存在すると判定したエッジ６７に対して、検出視差ＤＹ’の値により、車載カメラ１６からの距離と高さを求める。
【００５７】
３Ｄ画像合成手段４２は、障害物検知手段３８の上記判定の結果と、障害物検知手段３８が求めた上記距離及び高さとを基に、画面全体について３Ｄ情報を作成する。これは先ず、図１４の走査線６８に示すように、画面を下側から走査して行き、エッジ６６のような水平エッジが無いか、有っても路面１９上にあると判定されたエッジしかないかを調べ、斯かる水平エッジしか無い場合には、その走査線６８の方向には障害物無しと判定する。
【００５８】
また、路面より所定量だけ上方の浮いた位置に存在すると判定されたエッジ６７が有った場合には、その走査線７１に沿う方向に障害物有りと判定される。この場合には、エッジのうち車載カメラから最も近い距離にあるエッジを求め、そのエッジを路面に垂直に投影した位置を求める。図１４の場合には、車載カメラから最も近い距離にあるエッジは車両パンパの下側の線を示すエッジ６７であり、このエッジ６７を路面に垂直に投影した線７２を求める。
【００５９】
三次元オブジェクト記憶手段３９には、図１５に示す様な三次元オブジェクト７３が記憶されており、３Ｄ画像合成手段４２は、図１６に示す様に、この三次元オブジェクト７３が線７２に沿って並ぶように車載カメラの撮像画像に合成する。
【００６０】
合成された画像は表示手段４３に表示され、この表示手段４３のモニタ画面を運転者が見ることで、運転者は、自車両の周囲の障害物の位置を直感的にかつ正確に把握することができる。
【００６１】
図１７は、図１６の表示画像に加え、操舵情報検出手段４０の検出結果に基づいて軌跡算出手段４１が算出した自車両の予測軌跡のガイド線を重畳表示した例を示す図である。
【００６２】
軌跡算出手段４１は、そのときのハンドルの切れ角度の情報を操舵情報検出手段４０から取り込み、そのままのハンドル切れ角度で自車両を後退させた場合における自車両の幅方向両端の路面上の予測軌跡を算出する共にこの予測軌跡に対応するモニタ画面上における軌跡ガイド線７５、７６の表示位置、及び、自車両後端からの距離１００ｃｍ、２００ｃｍの位置を示す距離ガイド線７７、７８のモニタ画面上における表示位置を算出する。
【００６３】
また、障害物検知手段３８の検知結果により、障害物がこの予測軌跡の延長上の所定距離内、例えば３００ｃｍ内に存在すると判定した場合には、障害物までの距離を算出すると共にそのモニタ画面上における限界距離ガイド線７９の表示位置を算出し、更に、次元ブロック７３の中から最短距離にある障害物の三次元ブロック７４を決定する。
【００６４】
そして、３Ｄ画像合成手段４２はこれらの算出結果等を受け取り、図１６に示す合成画像上に、更に、軌跡ガイド線７５、７６、距離ガイド線７７、７８、限界距離ガイド線７９を重畳表示すると共に、距離ガイド線７７、７８及び限界距離ガイド線７９が示す距離を数値表示し、併せて、最短距離にある三次元ブロック７３ａを点滅させるなど強調表示する。
【００６５】
図１８は、障害物が予測軌跡上に存在しない場合のモニタ表示例を示す図である。この場合には、自車両後端から３００ｃｍ下がった位置までのガイド線８０も表示し、併せてその数値もする。
【００６６】
本実施の形態では、上述したモニタ画像を表示することで、
（１）自車両が障害物に接触する虞があるかどうか
（２）接触する虞があるとすればどの障害物か、または障害物のどの部分か
（３）どの程度の距離まで安全に後退できるか
などを運転者に直感的に提示でき、運転者はより安全に運転することが可能となる。
【００６７】
またこのとき、障害物の存在位置を示す線７２だけでなく、三次元オブジェクト７３も表示しているため、他のガイド線７５、７６、７７、７８、７９、８０等と混同することなく、運転者は障害物を直感的に認識することができる。
【００６８】
（第２の実施の形態）
図１９は、本発明の第２の実施の形態に係る運転支援装置のブロック構成図である。図１に示す第１の実施の形態と異なる点は、第１の実施の形態における３Ｄ画像合成手段４２の代わりに、本実施の形態では、３Ｄ画像合成路面投影手段８１を設け、この３Ｄ画像合成路面投影手段８１が、撮像手段１６の撮影画像データと、障害物検知手段３８の検知結果と、３Ｄオブジェクト記憶手段３９の出力データと、軌跡算出手段４１の算出結果とに加え、路面データ記憶手段３７の出力データを用いて表示手段４３のモニタ画面に表示する画像を合成する様にした点である。
【００６９】
図２０から図２３は、この第２の実施の形態に係る運転支援装置の動作説明図である。本実施の形態に係る３Ｄ画像合成路面投影手段８１は、車両姿勢検出手段３７の検出した車両の姿勢すなわち車載カメラ１５、１６の高さ、傾きを基に、撮像手段１６から取り込んだ撮像画像を、図２０の視線８２に示す様に、仮想上視点から路面を見下ろした画像に合成変換する。
【００７０】
このとき得られる合成画像は、図２１に示す様に、従来例（図３７）と同じ様に、路面１９より上に存在する車両のバンパ８３などが、モニタ画面上ではより遠くの点８３ａにあるような歪んだ画像となる。尚、図２１では、自車両の位置が分かるように自車両のイラスト画像１ａも合成される。
【００７１】
３Ｄ画像合成路面投影手段８１は、第１の実施の形態の３Ｄ画像合成手段４２と同様に、図１６に示す様な、障害物の位置を示す線７２に沿って三次元オブジェクト７３が並ぶ合成画像が生成されるが、本実施の形態では、この合成画像を更に路面投影変換する。即ち、図２２に示す様に、障害物の位置を示す線７２ａ（この線７２ａは、図１６の線７２を視点変換した線）に沿って、三次元オブジェクト７３を視点変換した３Ｄオブジェクト７３ａを並べ、モニタ画面に表示する。
【００７２】
運転者は、この図２２に示す合成画像を見ることで、路面上の白線を正確に把握することができる共に、他の車両等の障害物までの自車両からの距離と方向を正確に把握することができる。このため、安全かつ精度良く車両を運転することができる。また、障害物の位置を示す線７２ａだけでなく三次元オブジェクト７３ａも表示しているため、運転者は障害物を見落とすことなくより直感的に障害物を認識することができる。
【００７３】
また、この第２の実施の形態では、第１の実施の形態に比べて、車載カメラ１６の撮影画像を、路面投影によって真上から見たような画像に変換しており、この変換画像に自車両を示すイラスト画像１ａも重畳表示しているため、自車両と周囲との関係をより把握し易い画像となっている。
【００７４】
更に、このとき合成される三次元オブジェクト８５は、３Ｄ画像合成路面投影手段８１が一度内部で図１６に示す様に合成し、その後に路面投影変換するため、実際の立体物と同様に歪んで合成表示され、歪み方が実際の立体物と同様となる。このため、運転者は自然な三次元オブジェクトとして認識できるという効果もある。
【００７５】
尚、本実施の形態では、３Ｄ画像合成路面投影手段８１の内部で、一旦、図１６に示す様に合成され、その後に投影変換すると説明したが、直接、図２２に示す合成画像を生成してもよい。
【００７６】
図２３は、第１の実施の形態に係る図１７の合成画像を、更に視点変換した画像を示す図である。図１７に示す符号７３、７４、７７、７８、７９、８０を視点変換してモニタ画面に表示するガイド線等を、同一符号に「ａ」を付して図示する。
【００７７】
この図２３に示す合成画像をモニタ画面に表示することで、運転者は、自車両とその予想軌跡と障害物との相対位置関係を、モニタ画面上で直感的に把握でき、より安全に運転することができる。
【００７８】
また、このとき予想軌跡など合成されるガイド線７５ａ、７６ａ、７７ａ、７８ａ、７９ａなど多くなるが、障害物の位置を示す線７２ａだけでなく、三次元オブジェクト７３ａも表示しているため、他のガイド線表示等と混同することなく、運転者は障害物を直感的に認識することができる。
【００７９】
図２４は、三次元オブジェクトのバリエーションを示す図である。三次元オブジェクトは、図１５に示す円柱形状の三次元オブジェクト７３に限らず、図２４に示す長方形の三次元オブジェクト８５でも、円錐形の三次元オブジェクト８６でも、また、他の形状のオブジェクト８７でもよい。
【００８０】
図２５、図２６、図２７は、これらのオブジェクト８５、８６、８７を用いて車載カメラの撮像画像に合成した画像を例示する図である。長方形の３Ｄオブジェクト８５の場合には、図２５に示す様に、線７２に長方形の一辺を合わせる様にオブジェクト８５を配置することができ、障害物の位置を示すラインをより正確に表示することができる。
【００８１】
また、図２６に示す様に、円錐形の３Ｄオブジェクト８６を表示することで、障害物の位置を明示しつつ、且つ、障害物の部分の画像、図示の例では他車両の画像が三次元オブジェクト８６によって隠されてしまう量が少なくなり、障害物が何であるが運転者に分かり易くなるという効果が得られる。
【００８２】
また、図２７に示す様に、側面の無いオブジェクト８７であっても上部分８７ａと下部分８７ｂとで明度の異なる同系色の２色表示を行うことで、運転者に立体物として直感的に認識させることができる。このとき上部分８７ａと下部分８７ｂの比率を車載カメラから見る角度によって調整することにより、オブジェクト８７の立体感を増すことができる。
【００８３】
尚、二次元のオブジェクト８７の上部と側部を２色で塗り分け、上部が側部より明るい色で表示される様にすることでも、見やすくなる。
【００８４】
図２８、図２９は、三次元オブジェクトの表示方法のバリエーションを示す図である。障害物検知手段３８は、障害物までの距離と共に路面１９からの高さ情報も得ている。従って、その高さに応じて、図２８に示す様に、三次元オブジェクト８６の高さｔを調整して表示する。
【００８５】
一般に、駐車場での障害物は他車両であり、このときバンパなどの部分が自車両から最も近い部分のエッジとして検知される。このため、他車両のバンパの高さに応じた三次元オブジェクトを合成すれば、運転者にとって他車両のパンパ高さをモニタ画面上で直感的に把握可能となる。
【００８６】
乗用車やバンやトラックなど、バンパの高さは様々であるが、それぞれの高さに応じた三次元オブジェクトを合成することによって、三次元オブジェクトと他車両との相対位置関係が分かり易くなる。例えば、車高の低い車が高すぎる三次元オブジェクトに隠されたり、バンパの高いトラックに対して低すぎる三次元オブジェクトを合成しても、トラックと三次元オブジェクトとの相対関係が分かりづらくなるといった不具合を解決することができる。
【００８７】
図２９は、障害物と自車両までの距離に応じて、三次元オブジェクトの表示色を変える例を示したものである。自車両により近い部分の三次元オブジェクト８５ａについては他の三次元オブジェクト８５とは表示色を変え、あるいは点滅表示させるなどして強調表示する。これにより、運転者の注意を引き、障害物の見落としを防止し、安全運転を促すことができる。
【００８８】
尚、図２４から図２９では、第１の実施の形態におけるバリエーションを説明したが、これらのバリエーションで示した合成画像を視点変換することで、第２の実施の形態にも同様に適用可能である。
【００８９】
上述した第１、第２の実施の形態においては、主として、自車両の後方の画像を生成したが、本発明はこれに限るものではなく、前方の画像や側方の画像を生成する場合にも適用可能である。
【００９０】
また、上述した第２の実施の形態においては、車両の姿勢に基づく路面モデルを用いて、車載カメラの撮像画像を真上からみたような画像に変換合成したが、路面モデルだけではなく遠方で立ち上がるような三次元モデルを用いて変換合成しても、また真上からだけでなく斜めから見たような画像を合成するものでもよい。
【００９１】
更に、上述した第１、第２の実施の形態においては、２台の車載カメラ１５、１６によるステレオ測距の手法を用いて障害物を検知したが、別の方法を用いても良い、たとえばレーザ光線や超音波、パターン光照射などによる方法によって障害物を検知することでもよい。
【００９２】
更にまた、本発明の運転支援装置を構成する各手段は、その全部または一部をコンピュータに実行させるプログラムで実現可能である。
【００９３】
以上説明した様に、上述した実施の形態によれば、障害物の位置を示すライン上にオブジェクトを合成表示するため、障害物までの距離と方向をより判り易く正確に運転者に提示可能となり、運転者は、車両周囲の障害物の位置関係と周囲状況をモニタ画面上で直感的に精度良く把握することが可能となる。
【００９４】
また、上述した実施の形態によれば、オブジェクトの表示を、自車両からの距離に応じて点滅表示したり色変え表示するため、より接触の虞のある障害物に運転者の注意を促すことができ、見逃しによる接触の虞を防ぐことができる。
【００９５】
更に、上述した実施の形態によれば、自車両からの距離や予想軌跡などの複数のガイド線を表示した場合でも、障害物の位置を示すライン上にオブジェクトを合成表示するため、このラインとガイド線とを混同することがなくなり、運転者に障害物を間違いなく認識させることができる。
【００９６】
更にまた、上述した実施の形態によれば、オブジェクトの上部分と下部分で明度の異なる２色で表示するため、二次元のオブジェクトであってもこのオブジェクトを運転者に立体物として直感的に認識させることができる。
【００９７】
更にまた、上述した実施の形態によれば、乗用車やバンやトラックなど、バンパの高さは様々であるが、それぞれの高さに応じたオブジェクトを合成表示するため、オブジェクトと他車両の関係を分かり易く運転者に提示可能となる。
【００９８】
これにより、運転者の負担が軽減され、正確で安全な運転を促すことが可能となる。
【００９９】
【発明の効果】
本発明によれば、モニタ画面上で運転者が障害物の周囲状況を直感的に且つより精度良く確認することができ、運転者の負担を軽減することができる運転支援装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る運転支援装置のブロック構成図
【図２】本発明の第１の実施の形態に係る運転支援装置の撮像手段である車載カメラの取り付け図
【図３】本発明の第１の実施の形態に係る運転支援装置の一方の車載カメラによる撮影映像を示す画面を示す図
【図４】本発明の第１の実施の形態に係る運転支援装置の他方の車載カメラによる撮影映像を示す画面を示す図
【図５】本発明の第１の実施の形態に係る図３の画像と図４の画像を重ね合わせたときのズレを示す図
【図６】本発明の第１の実施の形態に係る図３の画像のエッジを強調した図
【図７】本発明の第１の実施の形態における運転支援装置のブロック設定手段が視差探索のために行うブロック設定説明図
【図８】本発明の第１の実施の形態における２台の車載カメラの視差説明図
【図９】本発明の第１の実施の形態における２台の車載カメラ間における視差がモニタ画面上でどのように変化するかを示す図
【図１０】本発明の第１の実施の形態における視差探索の限界を説明する図
【図１１】本発明の第１の実施の形態における運転支援装置のサブピクセル推定信頼性手段の補完処理説明図
【図１２】本発明の第１の実施の形態における障害物検出の説明図
【図１３】本発明の第１の実施の形態における障害物検出の説明図
【図１４】本発明の第１の実施の形態における障害物検出の説明図
【図１５】本発明の第１の実施の形態に係る運転支援装置で用いる３Ｄオブジェクトを示す図
【図１６】本発明の第１の実施の形態に係る運転支援装置で用いる３Ｄオブジェクトを合成表示した図
【図１７】本発明の第１の実施の形態に係る運転支援装置で用いる３Ｄオブジェクトを合成表示し更に予測軌跡及び距離ガイド線を重畳表示した図
【図１８】本発明の第１の実施の形態に係る運転支援装置で障害物が存在しないときの予測軌跡及び距離ガイド線を表示した図
【図１９】本発明の第２の実施の形態に係る運転支援装置のブロック構成図
【図２０】本発明の第２の実施の形態に係る運転支援装置における視点変換の説明図
【図２１】本発明の第２の実施の形態の説明図
【図２２】本発明の第２の実施の形態で３Ｄオブジェクトを合成表示した図
【図２３】本発明の第２の実施の形態で３Ｄオブジェクトを合成表示し更に更に予測軌跡及び距離ガイド線を重畳表示した図
【図２４】本発明の第２の実施の形態における３Ｄオブジェクトのバリエーションを示す図
【図２５】本発明の第２の実施の形態における３Ｄオブジェクトのバリエーションの１つを合成表示した図
【図２６】本発明の第２の実施の形態における３Ｄオブジェクトのバリエーションの１つを合成表示した図
【図２７】本発明の第２の実施の形態における３Ｄオブジェクトのバリエーションの１つを合成表示した図
【図２８】本発明の第２の実施の形態における３Ｄオブジェクトの表示方法のバリエーションの一例を示す図
【図２９】本発明の第２の実施の形態における３Ｄオブジェクトの表示方法のバリエーションの他例を示す図
【図３０】従来の運転支援装置で用いる視点変換の説明図
【図３１】従来の運転支援装置の車載カメラによるモニタ画面表示例を示す図
【図３２】従来の運転支援装置の説明図
【図３３】従来の運転支援装置で視点変換を施した変換画像を示す図
【図３４】従来の運転支援装置の不具合説明図
【図３５】従来の運転支援装置の車載カメラによるモニタ画面表示例を示す図
【図３６】従来の運転支援装置の説明図
【図３７】従来の運転支援装置で視点変換を施した変換画像の不具合説明図
【符号の説明】
１５、１６ 車載カメラ（撮像手段）
１９ 路面
３１、３３ 水平エッジ抽出手段
３２ ブロック設定手段
３４ デフォルト視差データ算出手段
３５ 探索手段
３６ サブピクセル推定信頼性判定手段
３７ 車両姿勢検出手段
３８ 障害物検知手段
３９ ３Ｄオブジェクト記憶手段
４０ 舵角情報検出手段
４１ 軌跡算出手段
４２ ３Ｄ画像合成手段
４３ 表示手段
５０、５１、θ１〜θｎ 視差
６８、７１ 走査線
７２ 障害物の位置を示すライン
７３、８５、８６ ３Ｄオブジェクト
７５、７５ａ、７６、７６ａ 軌跡ガイド線
７７、７７ａ、７８、７８ａ、７９、７９ａ 距離ガイド線
８７ 二次元オブジェクト
８１ ３Ｄ画像合成路面投影手段
【発明の属する技術分野】
本発明は車載カメラで撮影した車両周辺画像を車室内に設置されたモニタ画面に表示して運転者の運転を支援する運転支援装置に係り、特に、車両と周囲の障害物との位置関係をモニタ画面上で容易に把握することができる運転支援装置に関する。
【０００２】
【従来の技術】
車両にカメラを取り付け、車両後方など運転者から死角位置となる映像をモニタ画面に表示し、運転を支援する装置が普及し始めている。例えば、下記の特許文献１には、車載カメラで撮影した映像を、運転者に見やすい画像に変換し、モニタ画面に表示するようにしている。この従来技術を、図３０から図３７を用いて説明する。
【０００３】
図３０は、従来技術で用いている視点変換の説明図である。車両１の後部には車載カメラ２が路面を映すように設置されており、車載カメラ２による映像が運転席に設置されたモニタ画面に表示される様になっている。
【０００４】
このときのモニタ画面の表示例を図３１に示す。この例では、駐車場の白線像１０ａがモニタ画面３に表示されており、図３０中に示す路面上の駐車運転目標点４が、図３１で白線コーナー画像４ａとして表示される。
【０００５】
図３２は、図３０に示す車両１と駐車運転目標４との位置関係を真上から見た図である。車両１の後方に白線１０で仕切られた駐車スペースが並んでいる。この図３２に示す状態をモニタ画面に表示することができれば、運転者にとって車両１と駐車スペースとの相対位置関係が把握しやすくなり、好適である。
【０００６】
そこで、上記の従来技術では、図３０に示す仮想視点５を車両１の上方位置に定め、実際の車載カメラ２による撮影映像を、この仮想視点５に設置した仮想カメラから撮影した映像に変換する様にしている。
【０００７】
図３３は、図３１に示す画像を、仮想視点５から見た映像に視点変換してモニタ画面３に表示した例を示す図である。図３２には、車載カメラ２の撮影範囲６を示してあるが、この撮影範囲内の映像が、図３１の画像を視点変換することで得られ、これをモニタ画面３に表示することで、運転者は自車両１と駐車スペースとの相対位置関係がよく分かる様になる。
【０００８】
【特許文献１】
特開２０００―２２９５４７号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来技術は、次のような課題を有している。この課題を、図３４から図３７を用いて説明する。
【００１０】
図３４は、自車両１の後方に他車両７が存在し、この他車両７が車載カメラ２の画角内に入っている状態を示す図である。車載カメラ２で他車両７のバンパ先端部８を撮影している。この撮影画像をモニタ画面に３に表示した例が図３５であり、他車両画像７ａやパンパ先端部８がモニタ画面３に表示されている。
【００１１】
図３６は、図３４に示す状態を上方から見た図である。この図３４に示す状態がモニタ画面に表示されれば、運転者にとって自車両１と他車両７との相対位置関係が容易に把握できる画像となるため好ましい。しかし、この場合には、図３０から図３３で説明した視点変換を施すと、他車両７の画像が次に説明する理由により大きく歪んだ画像となってしまう。
【００１２】
車載カメラ２に搭載されている固体撮像素子を構成する或る画素は、図３４に示す様に他車両７のバンパ先端部８を映しているが、このパンパ先端部８は路面１１から浮いた位置に存在するため、この画素は、視線方向９を延ばして路面１１と交差した箇所１２も映している。即ち、車載カメラ２では、バンパ先端部８と路面交差箇所１２とを区別することができない。
【００１３】
上述した従来技術の視点変換は、車載カメラ２の撮像画像が路面１１に描かれた画像であるとして仮想視点５からの映像に変換するものであるため、視点変換後の画像では、バンパ先端部８が路面交差箇所１２にあるものとして変換されてしまう。このため、図３７に示す様に、実際のバンパ先端部８は、モニタ画面３上では、符号８ａで示す位置に後退した様な画像となってしまう。即ち、路面１１から浮いた位置に存在する障害物は、視点変換画像では実際より遠くに存在する様に表示されてしまう。
【００１４】
以上は、視点変換した画像の不具合について述べたものであるが、視点変換しない画像であっても問題がある。それは、三次元物体である他車両７や路面１１を車載カメラ２で撮像しこれを二次元平面のモニタ画面３に表示しても、撮像画像を立体表示できないため、この場合の障害物である他車両７のバンパ先端部８がどれだけ自車両１に近づいているのを精度良くモニタ画面３上で確認することができないという問題である。
【００１５】
本発明は、上述した従来の運転支援装置が有する課題を解決するために為されたものであり、その目的は、運転者が障害物の周囲状況を直感的に且つより精度良く確認することができ、運転者の負担を軽減することができる運転支援装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明の運転支援装置は、車両の周囲を撮影する撮像手段と、前記車両の周囲に存在する障害物を検知する障害物検知手段と、前記障害物検知手段が前記障害物を検知したとき前記撮像手段による撮像画像に前記撮像画像中の障害物画像の路面境界位置に仮想的なオブジェクトを合成した合成画像を生成する画像合成手段と、前記画像合成手段により生成された前記合成画像を表示する表示手段とを備えることを特徴とする。
【００１７】
この構成により、運転者は表示手段の画面を見ることで、障害物の周囲状況を直感的に且つ精度良く把握可能となり、運転者の負担が軽減する。
【００１８】
本発明の運転支援装置は、車両の周囲を撮影する撮像手段と、前記車両の周囲に存在する障害物を検知する障害物検知手段と、前記障害物検知手段が前記障害物を検知したとき前記撮像手段による撮像画像に前記撮像画像中の障害物画像の路面境界位置に仮想的なオブジェクトを合成した合成画像を生成すると共に前記合成画像を視点変換した視点変換画像を生成する画像合成手段と、前記画像合成手段により生成された前記視点変換画像を表示する表示手段とを備えることを特徴とする。
【００１９】
この構成により、運転者は表示手段の画面を見ることで、障害物の周囲状況を直感的に且つ精度良く把握可能となり、運転者の負担が軽減する。
【００２０】
本発明の運転支援装置の前記障害物検知手段は、前記撮像手段による撮像画像を解析して障害物を検知することを特徴とする。この構成により、障害物検知のための特別な装置が不要となる。
【００２１】
本発明の運転支援装置の前記撮像手段は、垂直方向に異なる位置に設置された少なくとも２台の撮像手段で構成され、前記障害物検知手段は、前記撮像手段の各々の撮影画像を比較して前記障害物を検知することを特徴とする。この構成により、ステレオ測距により簡単且つ精度よく障害物の検知が可能となる。
【００２２】
本発明の運転支援装置の前記画像合成手段は、前記車両から前記障害物までの距離に応じて前記オブジェクトの表示を変化させて前記合成画像を生成することを特徴とする。この構成により、運転者はモニタ画面の表示だけで障害物までの距離を把握可能となる。
【００２３】
本発明の運転支援装置の前記画像合成手段は、前記車両からの距離を示すガイド線を合成して前記合成画像を生成することを特徴とする。この構成により、運転者は画面を目視することで具体的な距離感を得ることが可能となる。
【００２４】
本発明の運転支援装置の前記画像合成手段は、前記車両の予測軌跡を示すガイド線を合成して前記合成画像を生成することを特徴とする。この構成により、運転者はモニタ画面上で自車両の進行方向を確認可能となる。
【００２５】
本発明の運転支援装置の前記画像合成手段は、前記障害物検知手段の検知した障害物が前記車両の予測軌跡上に存在し前記車両から所定距離内に近づいたとき前記車両から最も近い前記オブジェクトを強調表示する合成画像を生成することを特徴とする。この構成により、運転者は、障害物に接近したことを容易に認識可能となる。
【００２６】
本発明の運転支援装置で用いる前記オブジェクトは三次元画像であることを特徴とする。この構成により、障害物が立体物であると容易に把握可能となる。
【００２７】
本発明の運転支援装置で用いる前記オブジェクトは二次元画像であり、同系色の少なくとも２色によって色分け表示されることを特徴とする。この構成により、オブジェクトの合成が容易になる。
【００２８】
本発明の運転支援装置で用いる前記二次元画像のオブジェクトは、上部と側部とで異なる色に塗り分けられ、前記上部が前記側部より明るい色で表示されることを特徴とする。この構成により、二次元のオブジェクトであってもモニタ画面上で立体物と認識させることが可能となる。
【００２９】
本発明の運転支援装置で用いる前記オブジェクトの高さは、前記障害物の高さに応じて調整されることを特徴とする。この構成により、障害物の高さをモニタ画面上で認識可能となる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００３１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る運転支援装置のブロック構成図であり、図２は、本実施の形態に係る運転支援装置の撮像手段である車載カメラの取り付け図である。
【００３２】
図２に示す様に、本実施の形態では、２台の車載カメラ１５、１６を車両１７に取り付ける。１台目の車載カメラ１５と２台目の車載カメラ１６とは、垂直線上１８に沿って平行に１０ｃｍの間隔をあけた位置に設置され、それぞれの路面１９からの高さは、１００ｃｍと１１０ｃｍである。
【００３３】
車載カメラ１５の視線方向２０は、水平方向から路面１９に向かって４０度の角度で下向きとなるように設置され、車載カメラ１６の視線方向２１も全く同じに、水平方向から路面１９に向かって４０度の角度で下向きとなるように設置される。即ち、２台の車載カメラ１５、１６の視線方向２０、２１は平行であり、また、２台の車載カメラ１５、１６の夫々の視野範囲２２、２３も垂直方向に約９０度となっている。
【００３４】
この様に２台の車載カメラ１５、１６を車両１７に設置することで、設置高さが１０ｃｍ違うだけで同じ画像が撮影されることになる。図３は、車載カメラ１５による撮影映像を示す画面１５ａであり、図４は、車載カメラ１６による撮影映像を示す画面１６ａである。両方の撮影映像は、水平方向では殆ど同一であり、垂直方向の画像位置だけが変化した画像となっている。
【００３５】
車載カメラ１６は車載カメラ１５に対して１０ｃｍだけ設置位置が高いため、画面１６ａ上に映る無限遠方の水平線画像２５の位置は画面１５ａの無限遠方の水平線画像２５の位置と同じであるが、車載カメラ１５、１６から近くに位置する箇所、例えば、路面１９上に位置する白線上の任意点画像２６や、他車両バンパ上の任意点画像２７は、画面上、車載カメラ１５による撮影映像の方が車載カメラ１６による撮影映像に比べて若干上側にずれている。
【００３６】
この両画面１５ａ、１６ａ間の画像の上下方向のずれは、路面１９上の物体の画像でも、路面１９から浮いた位置に存在する物体の画像でも生じる。しかし、車載カメラ１５、１６に近い位置に存在する物体であれば、設置位置が垂直方向に１０ｃｍ異なる車載カメラ１５、１６で視差が生じ、路面１９上の物体の画像で生じるずれと、路面１９から浮いた位置に存在する物体の画像で生じるずれとはずれ量が異なってくる。
【００３７】
そこで、本実施の形態に係る運転支援装置では、詳細は後述するように、このずれ量の違いから、車両１７近くの路面１９から浮いた位置に存在する障害物を検出し、モニタ画面上の障害物画像に加えて、運転者に注意を喚起する三次元オブジェクトを表示する様にしている。
【００３８】
このため、本実施の形態に係る運転支援装置は、図１に示す様に、２台の車載カメラ（撮像手段）１５、１６と、車載カメラ１５の撮影画像を取り込んで撮影画像中の水平エッジ部分を抽出する水平エッジ抽出手段３１と、この水平エッジ抽出手段３１によって水平エッジ部分が抽出された画像に対して図７で説明するブロックを設定するブロック設定手段３２と、車載カメラ１６の撮影画像を取り込んで撮影画像中の水平エッジ部分を抽出する水平エッジ抽出手段３３と、車載カメラ１５、１６間のデフォルトの視差データを車両重量の変化による車両高さや車両の傾き即ちカメラ１５、１６の路面１９からの高さや傾きに基づいて算出するデフォルト視差データ算出手段３４と、ブロック設定手段３２の出力信号と水平エッジ抽出手段３３の出力信号とデフォルト視差データ算出手段３４の出力信号とにより車載カメラ１５、１６の撮影映像間の視差の違いを探索する探索手段３５とを備える。
【００３９】
本実施の形態に係る運転支援装置は更に、探索手段３５の探索結果からサブピクセル精度の視差と信頼性判定を行うサブピクセル推定信頼性判定手段３６と、車両重量変化による車両高さや車両の傾き等の車両姿勢を検出する車両姿勢検出手段３７と、サブピクセル推定信頼性判定手段３６の出力信号と車両姿勢検出手段３７の出力信号とデフォルト視差データ算出手段３４の出力信号とから障害物を検知する障害物検知手段３８と、三次元（図面では３Ｄと略記する。）オブジェクトを記憶した３Ｄオブジェクト記憶手段３９と、車両１７のハンドル舵角を検出する舵角情報検出手段４０と、舵角情報検出手段４０の検出信号により車両１７の軌跡を算出すると共に障害物検知手段３８の検出信号により障害物まで距離を求める軌跡算出手段４１と、障害物検知手段３８の出力信号と３Ｄオブジェクト記憶手段３９の出力信号と軌跡算出手段４１の算出結果とを受けて車載カメラ１６の撮影映像に対して画像合成を行す３Ｄ画像合成手段４２と、３Ｄ画像合成手段４２の出力画像をモニタ画面に表示する表示手段４３とを備える。
【００４０】
以下、この運転支援装置の動作を説明する。車載カメラ１５の撮影映像と車載カメラ１６の撮影映像の垂直方向の位置変化は、図３の画像と図４の画像を重ねた図５に示すズレ量５０、５１となって現れる。このズレ量５０、５１が、車載カメラ１５、１６の視差である。ズレ量５０は、路面１９上に描かれた白線の視差であり、ズレ量５１が路面１９から浮いた位置のパンパの視差である。
【００４１】
図１に示す水平エッジ抽出手段３１、３３では、車載カメラ１５、１６の撮影画像について、下式に示すような操作を施して、水平エッジの抽出を行う。
【００４２】
Ｌ’（ｘ，ｙ）＝２＊Ｌ（ｘ，ｙ）−Ｌ（ｘ，ｙ−１）−Ｌ（ｘ，ｙ＋１）
ここで、Ｌ：画像の輝度信号
ｘ，ｙ：水平、垂直の画素位置
である。
【００４３】
この操作により、図３の画像は図６に示す様に、画面上水平方向に近いエッジが強調される。例えば、バンパのエッジ５２や白線エッジ５３が強調される。また、画面上垂直方向に近いエッジは弱められる。例えば、駐車スペースを示す白線エッジ５４や車体は縦方向のエッジ５５は弱められる。
【００４４】
ブロック設定手段３２は、車載カメラ１５の撮影画像の水平エッジ強調画像について、視差探索のためのブロックの設定を行う。図７は、そのブロック設定説明図であり、垂直方向の２画素おきの走査線５６に従って、Ｌ’（ｘ，ｙ）の極大点と極小点を求め、その点を中心とした縦横５×５画素のブロック５７を設定する。このブロック５７は、画面の水平エッジ上に重なりを持って複数配置される。
【００４５】
次に、車両姿勢検出手段３７によって検出された車両高さや傾きに基づいたデフォルト視差データについて説明する。デフォルト視差データとは、図８に示す様に、２台の車載カメラ１５、１６が路面１９上の或る点５８を映していると仮定したときに生じる視差を車両姿勢に基づいて予め計算したものである。図８で、路面１９上の点５８の視差は、角度θとして計算される。
【００４６】
この視差θは、車載カメラ１５、１６から遠いところと近いところでは異なった値をとる。このため、画面上では、図９に示す様に、縦方向の位置によって異なった値をとる。無限遠方の水平線２５の位置のデフォルト視差θ０は“０”であるが、それから車載カメラ１５、１６の方向に近づくに従って、即ち、画面で下方向に下がるに従って、θ１、θ２、…とでデフォルト視差は大きくなる。それから更に下がると、今度は車載カメラの視線方向が垂直方向に近くなるので、デフォルト視差θｎは小さくなる。
【００４７】
路面１９より上方に浮いた位置に存在する物体は、このデフォルト視差θ０、θ１、…、θｎより大きな視差を生じるので、探索手段３５は、このデフォルト視差を探索の初期値として、さらに大きい視差の方向に探索を行う。
【００４８】
探索視差の上限は、次のようにして決定する。図１０に示す様に、車両からの距離５０ｃｍの垂直な壁６０と車載カメラ１５の真下から６０度の角度を持つ壁６１を仮定したときの視差を概算する。このときの視差６３の画面中の値を、探索視差の上限値とする。
【００４９】
探索手段３５は、探索の初期値から上限値までの間で、５×５画素の各ブロック５７の信号Ｌ’（ｘ＋ｊ，ｙ＋ｉ）について、車載カメラ１６からの画像信号Ｌ３’に対して下式に示す相関値Ｆが最大となる視差ＤＹを探索する。
【００５０】
Ｆ＝ ΣｉΣｊ Ｌ’（ｘ＋ｊ，ｙ＋ｉ）＊Ｌ３’（ｘ＋ｊ，ｙ＋ｉ＋ＤＹ）
ここで、ｉ＝−２〜＋２
ｊ＝−２〜＋２
である。
【００５１】
サブピクセル推定信頼性判定手段３６は、探索手段３５で求められた視差ＤＹと相関値について更に解析を行う。まず、相関値Ｆと、ブロック信号Ｌ’（ｘ＋ｊ，ｙ＋ｉ）の自己相関値Ｓを次式で求める。
【００５２】
Ｓ＝ ΣｉΣｊ Ｌ’（ｘ＋ｊ，ｙ＋ｉ）＊Ｌ’（ｘ＋ｊ，ｙ＋ｉ）
ここで、ｉ＝−２〜＋２
ｊ＝−２〜＋２
である。
【００５３】
そして、相関値Ｆと自己相関値Ｓとの比Ｆ／Ｓが、閾値０．７５未満の時は、信頼性なしと判定する。また、信頼性ありと判定されたブロック５７については、図１１に示すように、１画素単位の視差ＤＹの周囲の相関値Ｆを用いて、２次式で補間した曲線６４の最大値６５を求め、この最大値６５を示す位置を、サブピクセル精度の視差ＤＹ’とする。
【００５４】
サブピクセル推定信頼性判定手段３６は、各ブロック５７について、このサブピクセル精度の視差ＤＹ’と信頼性判定結果を出力する。
【００５５】
障害物検知手段３８は、サブピクセル推定信頼性判定手段３６の出力である各ブロック５７についてのサブピクセル精度の視差ＤＹ’及び信頼性判定結果と、路面データおよびデフォルト視差データを基に、車載カメラ１６の撮影画像の画面中のどこに路面１９から浮いた障害物が存在するかを解析する。
【００５６】
図１２に示す様に、信頼性ありと判定されたブロック５７を、検出された視差ＤＹ’分だけ画面上でｙ方向に動かした位置には、車載カメラ１６による撮影画像中の水平エッジが存在する。図１３に示すように、検出視差ＤＹ’がデフォルト視差データに一致する水平エッジ６６は、路面１９上に存在すると判断でき、また、一致しない水平エッジ６７は、路面１９より上方に浮いた位置に存在すると判断できる。障害物検知手段３８は、路面１９より上方の浮いた位置に存在すると判定したエッジ６７に対して、検出視差ＤＹ’の値により、車載カメラ１６からの距離と高さを求める。
【００５７】
３Ｄ画像合成手段４２は、障害物検知手段３８の上記判定の結果と、障害物検知手段３８が求めた上記距離及び高さとを基に、画面全体について３Ｄ情報を作成する。これは先ず、図１４の走査線６８に示すように、画面を下側から走査して行き、エッジ６６のような水平エッジが無いか、有っても路面１９上にあると判定されたエッジしかないかを調べ、斯かる水平エッジしか無い場合には、その走査線６８の方向には障害物無しと判定する。
【００５８】
また、路面より所定量だけ上方の浮いた位置に存在すると判定されたエッジ６７が有った場合には、その走査線７１に沿う方向に障害物有りと判定される。この場合には、エッジのうち車載カメラから最も近い距離にあるエッジを求め、そのエッジを路面に垂直に投影した位置を求める。図１４の場合には、車載カメラから最も近い距離にあるエッジは車両パンパの下側の線を示すエッジ６７であり、このエッジ６７を路面に垂直に投影した線７２を求める。
【００５９】
三次元オブジェクト記憶手段３９には、図１５に示す様な三次元オブジェクト７３が記憶されており、３Ｄ画像合成手段４２は、図１６に示す様に、この三次元オブジェクト７３が線７２に沿って並ぶように車載カメラの撮像画像に合成する。
【００６０】
合成された画像は表示手段４３に表示され、この表示手段４３のモニタ画面を運転者が見ることで、運転者は、自車両の周囲の障害物の位置を直感的にかつ正確に把握することができる。
【００６１】
図１７は、図１６の表示画像に加え、操舵情報検出手段４０の検出結果に基づいて軌跡算出手段４１が算出した自車両の予測軌跡のガイド線を重畳表示した例を示す図である。
【００６２】
軌跡算出手段４１は、そのときのハンドルの切れ角度の情報を操舵情報検出手段４０から取り込み、そのままのハンドル切れ角度で自車両を後退させた場合における自車両の幅方向両端の路面上の予測軌跡を算出する共にこの予測軌跡に対応するモニタ画面上における軌跡ガイド線７５、７６の表示位置、及び、自車両後端からの距離１００ｃｍ、２００ｃｍの位置を示す距離ガイド線７７、７８のモニタ画面上における表示位置を算出する。
【００６３】
また、障害物検知手段３８の検知結果により、障害物がこの予測軌跡の延長上の所定距離内、例えば３００ｃｍ内に存在すると判定した場合には、障害物までの距離を算出すると共にそのモニタ画面上における限界距離ガイド線７９の表示位置を算出し、更に、次元ブロック７３の中から最短距離にある障害物の三次元ブロック７４を決定する。
【００６４】
そして、３Ｄ画像合成手段４２はこれらの算出結果等を受け取り、図１６に示す合成画像上に、更に、軌跡ガイド線７５、７６、距離ガイド線７７、７８、限界距離ガイド線７９を重畳表示すると共に、距離ガイド線７７、７８及び限界距離ガイド線７９が示す距離を数値表示し、併せて、最短距離にある三次元ブロック７３ａを点滅させるなど強調表示する。
【００６５】
図１８は、障害物が予測軌跡上に存在しない場合のモニタ表示例を示す図である。この場合には、自車両後端から３００ｃｍ下がった位置までのガイド線８０も表示し、併せてその数値もする。
【００６６】
本実施の形態では、上述したモニタ画像を表示することで、
（１）自車両が障害物に接触する虞があるかどうか
（２）接触する虞があるとすればどの障害物か、または障害物のどの部分か
（３）どの程度の距離まで安全に後退できるか
などを運転者に直感的に提示でき、運転者はより安全に運転することが可能となる。
【００６７】
またこのとき、障害物の存在位置を示す線７２だけでなく、三次元オブジェクト７３も表示しているため、他のガイド線７５、７６、７７、７８、７９、８０等と混同することなく、運転者は障害物を直感的に認識することができる。
【００６８】
（第２の実施の形態）
図１９は、本発明の第２の実施の形態に係る運転支援装置のブロック構成図である。図１に示す第１の実施の形態と異なる点は、第１の実施の形態における３Ｄ画像合成手段４２の代わりに、本実施の形態では、３Ｄ画像合成路面投影手段８１を設け、この３Ｄ画像合成路面投影手段８１が、撮像手段１６の撮影画像データと、障害物検知手段３８の検知結果と、３Ｄオブジェクト記憶手段３９の出力データと、軌跡算出手段４１の算出結果とに加え、路面データ記憶手段３７の出力データを用いて表示手段４３のモニタ画面に表示する画像を合成する様にした点である。
【００６９】
図２０から図２３は、この第２の実施の形態に係る運転支援装置の動作説明図である。本実施の形態に係る３Ｄ画像合成路面投影手段８１は、車両姿勢検出手段３７の検出した車両の姿勢すなわち車載カメラ１５、１６の高さ、傾きを基に、撮像手段１６から取り込んだ撮像画像を、図２０の視線８２に示す様に、仮想上視点から路面を見下ろした画像に合成変換する。
【００７０】
このとき得られる合成画像は、図２１に示す様に、従来例（図３７）と同じ様に、路面１９より上に存在する車両のバンパ８３などが、モニタ画面上ではより遠くの点８３ａにあるような歪んだ画像となる。尚、図２１では、自車両の位置が分かるように自車両のイラスト画像１ａも合成される。
【００７１】
３Ｄ画像合成路面投影手段８１は、第１の実施の形態の３Ｄ画像合成手段４２と同様に、図１６に示す様な、障害物の位置を示す線７２に沿って三次元オブジェクト７３が並ぶ合成画像が生成されるが、本実施の形態では、この合成画像を更に路面投影変換する。即ち、図２２に示す様に、障害物の位置を示す線７２ａ（この線７２ａは、図１６の線７２を視点変換した線）に沿って、三次元オブジェクト７３を視点変換した３Ｄオブジェクト７３ａを並べ、モニタ画面に表示する。
【００７２】
運転者は、この図２２に示す合成画像を見ることで、路面上の白線を正確に把握することができる共に、他の車両等の障害物までの自車両からの距離と方向を正確に把握することができる。このため、安全かつ精度良く車両を運転することができる。また、障害物の位置を示す線７２ａだけでなく三次元オブジェクト７３ａも表示しているため、運転者は障害物を見落とすことなくより直感的に障害物を認識することができる。
【００７３】
また、この第２の実施の形態では、第１の実施の形態に比べて、車載カメラ１６の撮影画像を、路面投影によって真上から見たような画像に変換しており、この変換画像に自車両を示すイラスト画像１ａも重畳表示しているため、自車両と周囲との関係をより把握し易い画像となっている。
【００７４】
更に、このとき合成される三次元オブジェクト８５は、３Ｄ画像合成路面投影手段８１が一度内部で図１６に示す様に合成し、その後に路面投影変換するため、実際の立体物と同様に歪んで合成表示され、歪み方が実際の立体物と同様となる。このため、運転者は自然な三次元オブジェクトとして認識できるという効果もある。
【００７５】
尚、本実施の形態では、３Ｄ画像合成路面投影手段８１の内部で、一旦、図１６に示す様に合成され、その後に投影変換すると説明したが、直接、図２２に示す合成画像を生成してもよい。
【００７６】
図２３は、第１の実施の形態に係る図１７の合成画像を、更に視点変換した画像を示す図である。図１７に示す符号７３、７４、７７、７８、７９、８０を視点変換してモニタ画面に表示するガイド線等を、同一符号に「ａ」を付して図示する。
【００７７】
この図２３に示す合成画像をモニタ画面に表示することで、運転者は、自車両とその予想軌跡と障害物との相対位置関係を、モニタ画面上で直感的に把握でき、より安全に運転することができる。
【００７８】
また、このとき予想軌跡など合成されるガイド線７５ａ、７６ａ、７７ａ、７８ａ、７９ａなど多くなるが、障害物の位置を示す線７２ａだけでなく、三次元オブジェクト７３ａも表示しているため、他のガイド線表示等と混同することなく、運転者は障害物を直感的に認識することができる。
【００７９】
図２４は、三次元オブジェクトのバリエーションを示す図である。三次元オブジェクトは、図１５に示す円柱形状の三次元オブジェクト７３に限らず、図２４に示す長方形の三次元オブジェクト８５でも、円錐形の三次元オブジェクト８６でも、また、他の形状のオブジェクト８７でもよい。
【００８０】
図２５、図２６、図２７は、これらのオブジェクト８５、８６、８７を用いて車載カメラの撮像画像に合成した画像を例示する図である。長方形の３Ｄオブジェクト８５の場合には、図２５に示す様に、線７２に長方形の一辺を合わせる様にオブジェクト８５を配置することができ、障害物の位置を示すラインをより正確に表示することができる。
【００８１】
また、図２６に示す様に、円錐形の３Ｄオブジェクト８６を表示することで、障害物の位置を明示しつつ、且つ、障害物の部分の画像、図示の例では他車両の画像が三次元オブジェクト８６によって隠されてしまう量が少なくなり、障害物が何であるが運転者に分かり易くなるという効果が得られる。
【００８２】
また、図２７に示す様に、側面の無いオブジェクト８７であっても上部分８７ａと下部分８７ｂとで明度の異なる同系色の２色表示を行うことで、運転者に立体物として直感的に認識させることができる。このとき上部分８７ａと下部分８７ｂの比率を車載カメラから見る角度によって調整することにより、オブジェクト８７の立体感を増すことができる。
【００８３】
尚、二次元のオブジェクト８７の上部と側部を２色で塗り分け、上部が側部より明るい色で表示される様にすることでも、見やすくなる。
【００８４】
図２８、図２９は、三次元オブジェクトの表示方法のバリエーションを示す図である。障害物検知手段３８は、障害物までの距離と共に路面１９からの高さ情報も得ている。従って、その高さに応じて、図２８に示す様に、三次元オブジェクト８６の高さｔを調整して表示する。
【００８５】
一般に、駐車場での障害物は他車両であり、このときバンパなどの部分が自車両から最も近い部分のエッジとして検知される。このため、他車両のバンパの高さに応じた三次元オブジェクトを合成すれば、運転者にとって他車両のパンパ高さをモニタ画面上で直感的に把握可能となる。
【００８６】
乗用車やバンやトラックなど、バンパの高さは様々であるが、それぞれの高さに応じた三次元オブジェクトを合成することによって、三次元オブジェクトと他車両との相対位置関係が分かり易くなる。例えば、車高の低い車が高すぎる三次元オブジェクトに隠されたり、バンパの高いトラックに対して低すぎる三次元オブジェクトを合成しても、トラックと三次元オブジェクトとの相対関係が分かりづらくなるといった不具合を解決することができる。
【００８７】
図２９は、障害物と自車両までの距離に応じて、三次元オブジェクトの表示色を変える例を示したものである。自車両により近い部分の三次元オブジェクト８５ａについては他の三次元オブジェクト８５とは表示色を変え、あるいは点滅表示させるなどして強調表示する。これにより、運転者の注意を引き、障害物の見落としを防止し、安全運転を促すことができる。
【００８８】
尚、図２４から図２９では、第１の実施の形態におけるバリエーションを説明したが、これらのバリエーションで示した合成画像を視点変換することで、第２の実施の形態にも同様に適用可能である。
【００８９】
上述した第１、第２の実施の形態においては、主として、自車両の後方の画像を生成したが、本発明はこれに限るものではなく、前方の画像や側方の画像を生成する場合にも適用可能である。
【００９０】
また、上述した第２の実施の形態においては、車両の姿勢に基づく路面モデルを用いて、車載カメラの撮像画像を真上からみたような画像に変換合成したが、路面モデルだけではなく遠方で立ち上がるような三次元モデルを用いて変換合成しても、また真上からだけでなく斜めから見たような画像を合成するものでもよい。
【００９１】
更に、上述した第１、第２の実施の形態においては、２台の車載カメラ１５、１６によるステレオ測距の手法を用いて障害物を検知したが、別の方法を用いても良い、たとえばレーザ光線や超音波、パターン光照射などによる方法によって障害物を検知することでもよい。
【００９２】
更にまた、本発明の運転支援装置を構成する各手段は、その全部または一部をコンピュータに実行させるプログラムで実現可能である。
【００９３】
以上説明した様に、上述した実施の形態によれば、障害物の位置を示すライン上にオブジェクトを合成表示するため、障害物までの距離と方向をより判り易く正確に運転者に提示可能となり、運転者は、車両周囲の障害物の位置関係と周囲状況をモニタ画面上で直感的に精度良く把握することが可能となる。
【００９４】
また、上述した実施の形態によれば、オブジェクトの表示を、自車両からの距離に応じて点滅表示したり色変え表示するため、より接触の虞のある障害物に運転者の注意を促すことができ、見逃しによる接触の虞を防ぐことができる。
【００９５】
更に、上述した実施の形態によれば、自車両からの距離や予想軌跡などの複数のガイド線を表示した場合でも、障害物の位置を示すライン上にオブジェクトを合成表示するため、このラインとガイド線とを混同することがなくなり、運転者に障害物を間違いなく認識させることができる。
【００９６】
更にまた、上述した実施の形態によれば、オブジェクトの上部分と下部分で明度の異なる２色で表示するため、二次元のオブジェクトであってもこのオブジェクトを運転者に立体物として直感的に認識させることができる。
【００９７】
更にまた、上述した実施の形態によれば、乗用車やバンやトラックなど、バンパの高さは様々であるが、それぞれの高さに応じたオブジェクトを合成表示するため、オブジェクトと他車両の関係を分かり易く運転者に提示可能となる。
【００９８】
これにより、運転者の負担が軽減され、正確で安全な運転を促すことが可能となる。
【００９９】
【発明の効果】
本発明によれば、モニタ画面上で運転者が障害物の周囲状況を直感的に且つより精度良く確認することができ、運転者の負担を軽減することができる運転支援装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る運転支援装置のブロック構成図
【図２】本発明の第１の実施の形態に係る運転支援装置の撮像手段である車載カメラの取り付け図
【図３】本発明の第１の実施の形態に係る運転支援装置の一方の車載カメラによる撮影映像を示す画面を示す図
【図４】本発明の第１の実施の形態に係る運転支援装置の他方の車載カメラによる撮影映像を示す画面を示す図
【図５】本発明の第１の実施の形態に係る図３の画像と図４の画像を重ね合わせたときのズレを示す図
【図６】本発明の第１の実施の形態に係る図３の画像のエッジを強調した図
【図７】本発明の第１の実施の形態における運転支援装置のブロック設定手段が視差探索のために行うブロック設定説明図
【図８】本発明の第１の実施の形態における２台の車載カメラの視差説明図
【図９】本発明の第１の実施の形態における２台の車載カメラ間における視差がモニタ画面上でどのように変化するかを示す図
【図１０】本発明の第１の実施の形態における視差探索の限界を説明する図
【図１１】本発明の第１の実施の形態における運転支援装置のサブピクセル推定信頼性手段の補完処理説明図
【図１２】本発明の第１の実施の形態における障害物検出の説明図
【図１３】本発明の第１の実施の形態における障害物検出の説明図
【図１４】本発明の第１の実施の形態における障害物検出の説明図
【図１５】本発明の第１の実施の形態に係る運転支援装置で用いる３Ｄオブジェクトを示す図
【図１６】本発明の第１の実施の形態に係る運転支援装置で用いる３Ｄオブジェクトを合成表示した図
【図１７】本発明の第１の実施の形態に係る運転支援装置で用いる３Ｄオブジェクトを合成表示し更に予測軌跡及び距離ガイド線を重畳表示した図
【図１８】本発明の第１の実施の形態に係る運転支援装置で障害物が存在しないときの予測軌跡及び距離ガイド線を表示した図
【図１９】本発明の第２の実施の形態に係る運転支援装置のブロック構成図
【図２０】本発明の第２の実施の形態に係る運転支援装置における視点変換の説明図
【図２１】本発明の第２の実施の形態の説明図
【図２２】本発明の第２の実施の形態で３Ｄオブジェクトを合成表示した図
【図２３】本発明の第２の実施の形態で３Ｄオブジェクトを合成表示し更に更に予測軌跡及び距離ガイド線を重畳表示した図
【図２４】本発明の第２の実施の形態における３Ｄオブジェクトのバリエーションを示す図
【図２５】本発明の第２の実施の形態における３Ｄオブジェクトのバリエーションの１つを合成表示した図
【図２６】本発明の第２の実施の形態における３Ｄオブジェクトのバリエーションの１つを合成表示した図
【図２７】本発明の第２の実施の形態における３Ｄオブジェクトのバリエーションの１つを合成表示した図
【図２８】本発明の第２の実施の形態における３Ｄオブジェクトの表示方法のバリエーションの一例を示す図
【図２９】本発明の第２の実施の形態における３Ｄオブジェクトの表示方法のバリエーションの他例を示す図
【図３０】従来の運転支援装置で用いる視点変換の説明図
【図３１】従来の運転支援装置の車載カメラによるモニタ画面表示例を示す図
【図３２】従来の運転支援装置の説明図
【図３３】従来の運転支援装置で視点変換を施した変換画像を示す図
【図３４】従来の運転支援装置の不具合説明図
【図３５】従来の運転支援装置の車載カメラによるモニタ画面表示例を示す図
【図３６】従来の運転支援装置の説明図
【図３７】従来の運転支援装置で視点変換を施した変換画像の不具合説明図
【符号の説明】
１５、１６ 車載カメラ（撮像手段）
１９ 路面
３１、３３ 水平エッジ抽出手段
３２ ブロック設定手段
３４ デフォルト視差データ算出手段
３５ 探索手段
３６ サブピクセル推定信頼性判定手段
３７ 車両姿勢検出手段
３８ 障害物検知手段
３９ ３Ｄオブジェクト記憶手段
４０ 舵角情報検出手段
４１ 軌跡算出手段
４２ ３Ｄ画像合成手段
４３ 表示手段
５０、５１、θ１〜θｎ 視差
６８、７１ 走査線
７２ 障害物の位置を示すライン
７３、８５、８６ ３Ｄオブジェクト
７５、７５ａ、７６、７６ａ 軌跡ガイド線
７７、７７ａ、７８、７８ａ、７９、７９ａ 距離ガイド線
８７ 二次元オブジェクト
８１ ３Ｄ画像合成路面投影手段
Claims (12)
- 車両の周囲を撮影する撮像手段と、前記車両の周囲に存在する障害物を検知する障害物検知手段と、前記障害物検知手段が前記障害物を検知したとき前記撮像手段による撮像画像に前記撮像画像中の障害物画像の路面境界位置に仮想的なオブジェクトを合成した合成画像を生成する画像合成手段と、前記画像合成手段により生成された前記合成画像を表示する表示手段とを備えることを特徴とする運転支援装置。
- 車両の周囲を撮影する撮像手段と、前記車両の周囲に存在する障害物を検知する障害物検知手段と、前記障害物検知手段が前記障害物を検知したとき前記撮像手段による撮像画像に前記撮像画像中の障害物画像の路面境界位置に仮想的なオブジェクトを合成した合成画像を生成すると共に前記合成画像を視点変換した視点変換画像を生成する画像合成手段と、前記画像合成手段により生成された前記視点変換画像を表示する表示手段とを備えることを特徴とする運転支援装置。
- 前記障害物検知手段は、前記撮像手段による撮像画像を解析して障害物を検知することを特徴とする請求項１または請求項２に記載の運転支援装置。
- 前記撮像手段は、垂直方向に異なる位置に設置された少なくとも２台の撮像手段で構成され、前記障害物検知手段は、前記撮像手段の各々の撮影画像を比較して前記障害物を検知することを特徴とする請求項３に記載の運転支援装置。
- 前記画像合成手段は、前記車両から前記障害物までの距離に応じて前記オブジェクトの表示を変化させて前記合成画像を生成することを特徴とする請求項１乃至請求項４のいずれかに記載の運転支援装置。
- 前記画像合成手段は、前記車両からの距離を示すガイド線を合成して前記合成画像を生成することを特徴とする請求項１乃至請求項５のいずれかに記載の運転支援装置。
- 前記画像合成手段は、前記車両の予測軌跡を示すガイド線を合成して前記合成画像を生成することを特徴とする請求項１乃至請求項６のいずれかに記載の運転支援装置。
- 前記画像合成手段は、前記障害物検知手段の検知した障害物が前記車両の予測軌跡上に存在し前記車両から所定距離内に近づいたとき前記車両から最も近い前記オブジェクトを強調表示する合成画像を生成することを特徴とする請求項１乃至請求項７のいずれかに記載の運転支援装置。
- 前記オブジェクトは三次元画像であることを特徴とする請求項１乃至請求項８のいずれかに記載の運転支援装置。
- 前記オブジェクトは二次元画像であり、同系色の少なくとも２色によって色分け表示されることを特徴とする請求項１乃至請求項８のいずれかに記載の運転支援装置。
- 前記二次元画像のオブジェクトは、上部と側部とで異なる色に塗り分けられ、前記上部が前記側部より明るい色で表示されることを特徴とする請求項１０に記載の運転支援装置。
- 前記オブジェクトの高さは、前記障害物の高さに応じて調整されることを特徴とする請求項第１乃至請求項１１のいずれかに記載の運転支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003026006A JP2004240480A (ja) | 2003-02-03 | 2003-02-03 | 運転支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003026006A JP2004240480A (ja) | 2003-02-03 | 2003-02-03 | 運転支援装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004240480A true JP2004240480A (ja) | 2004-08-26 |
Family
ID=32954141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003026006A Pending JP2004240480A (ja) | 2003-02-03 | 2003-02-03 | 運転支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004240480A (ja) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006252389A (ja) * | 2005-03-14 | 2006-09-21 | Aisin Seiki Co Ltd | 周辺監視装置 |
| WO2007010729A1 (ja) * | 2005-07-15 | 2007-01-25 | Matsushita Electric Industrial Co., Ltd. | 画像合成装置及び画像合成方法 |
| JP2007043318A (ja) * | 2005-08-01 | 2007-02-15 | Nissan Motor Co Ltd | 車両用周囲監視装置及び車両周囲監視方法 |
| JP2007043600A (ja) * | 2005-08-05 | 2007-02-15 | Alpine Electronics Inc | 周辺状況表示装置及び周辺状況表示方法 |
| JP2007038956A (ja) * | 2005-08-05 | 2007-02-15 | Alpine Electronics Inc | 周辺状況表示装置及び周辺状況表示方法 |
| JP2007069806A (ja) * | 2005-09-08 | 2007-03-22 | Clarion Co Ltd | 車両用障害物検出装置 |
| JP2007142545A (ja) * | 2005-11-15 | 2007-06-07 | Denso Corp | 車両周辺画像処理装置及びプログラム。 |
| JP2008532149A (ja) * | 2005-03-02 | 2008-08-14 | クーカ・ロボター・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | Ａｒオブジェクトとの光学的な重なり合いを判定する方法および装置 |
| JP2009093485A (ja) * | 2007-10-10 | 2009-04-30 | Nippon Soken Inc | 画像生成装置及び画像生成プログラム |
| JP2009146132A (ja) * | 2007-12-13 | 2009-07-02 | Denso Corp | 車載用画像処理装置及び車載用画像表示装置 |
| US7684593B2 (en) | 2004-10-25 | 2010-03-23 | Nissan Motor Co., Ltd. | Driving support system and method of producing overhead view image |
| WO2011058822A1 (ja) * | 2009-11-12 | 2011-05-19 | クラリオン株式会社 | 車両周囲表示装置、車両周囲表示方法 |
| JP2011255812A (ja) * | 2010-06-10 | 2011-12-22 | Aisin Seiki Co Ltd | 駐車支援装置 |
| JP2012123750A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
| JP2013506897A (ja) * | 2009-10-01 | 2013-02-28 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 交通状況のビデオデータと間隔データを組み合わせて視覚的に表示するための方法および装置 |
| JP2014177275A (ja) * | 2014-01-10 | 2014-09-25 | Adc Technology Inc | 車載用画像表示装置 |
| US8872919B2 (en) | 2005-02-24 | 2014-10-28 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
| US8885045B2 (en) | 2005-08-02 | 2014-11-11 | Nissan Motor Co., Ltd. | Device and method for monitoring vehicle surroundings |
| US8913136B2 (en) | 2011-03-25 | 2014-12-16 | Fuji Xerox Co., Ltd. | Image display device, mobile terminal, non-transitory computer readable medium, and image display method |
| WO2017188158A1 (ja) * | 2016-04-27 | 2017-11-02 | Ｋｙｂ株式会社 | 路面状態検出装置 |
| CN107403554A (zh) * | 2017-09-01 | 2017-11-28 | 北京壹卡行科技有限公司 | 双目集成驾驶员行为分析设备与方法 |
| CN108268833A (zh) * | 2017-01-04 | 2018-07-10 | 株式会社电装天 | 图像处理设备和图像处理方法 |
| JP2019067150A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社デンソー | 周辺監視装置および周辺監視方法 |
| JP2019073091A (ja) * | 2017-10-13 | 2019-05-16 | トヨタ自動車株式会社 | 車両用表示装置 |
| JP2021516390A (ja) * | 2018-03-09 | 2021-07-01 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 調整された投影面を有するサラウンドビュー・システム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0423200A (ja) * | 1990-05-18 | 1992-01-27 | Nissan Motor Co Ltd | 車両用障害物モニタ装置 |
| JPH06293236A (ja) * | 1992-12-22 | 1994-10-21 | Mitsubishi Electric Corp | 走行環境監視装置 |
| JP2000229547A (ja) * | 1998-10-08 | 2000-08-22 | Matsushita Electric Ind Co Ltd | 運転操作補助装置および記録媒体 |
| JP2001010427A (ja) * | 1999-06-29 | 2001-01-16 | Fujitsu Ten Ltd | 車両の駐車支援装置 |
| JP2001076298A (ja) * | 1999-09-07 | 2001-03-23 | Mazda Motor Corp | 車両の表示装置 |
| JP2002297029A (ja) * | 2001-01-26 | 2002-10-09 | Alpine Electronics Inc | ナビゲーション装置 |
| JP2002335524A (ja) * | 1999-09-20 | 2002-11-22 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP2002359838A (ja) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
-
2003
- 2003-02-03 JP JP2003026006A patent/JP2004240480A/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0423200A (ja) * | 1990-05-18 | 1992-01-27 | Nissan Motor Co Ltd | 車両用障害物モニタ装置 |
| JPH06293236A (ja) * | 1992-12-22 | 1994-10-21 | Mitsubishi Electric Corp | 走行環境監視装置 |
| JP2000229547A (ja) * | 1998-10-08 | 2000-08-22 | Matsushita Electric Ind Co Ltd | 運転操作補助装置および記録媒体 |
| JP2001010427A (ja) * | 1999-06-29 | 2001-01-16 | Fujitsu Ten Ltd | 車両の駐車支援装置 |
| JP2001076298A (ja) * | 1999-09-07 | 2001-03-23 | Mazda Motor Corp | 車両の表示装置 |
| JP2002335524A (ja) * | 1999-09-20 | 2002-11-22 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP2002297029A (ja) * | 2001-01-26 | 2002-10-09 | Alpine Electronics Inc | ナビゲーション装置 |
| JP2002359838A (ja) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7684593B2 (en) | 2004-10-25 | 2010-03-23 | Nissan Motor Co., Ltd. | Driving support system and method of producing overhead view image |
| US8872919B2 (en) | 2005-02-24 | 2014-10-28 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
| JP2008532149A (ja) * | 2005-03-02 | 2008-08-14 | クーカ・ロボター・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | Ａｒオブジェクトとの光学的な重なり合いを判定する方法および装置 |
| JP4687160B2 (ja) * | 2005-03-14 | 2011-05-25 | アイシン精機株式会社 | 周辺監視装置 |
| JP2006252389A (ja) * | 2005-03-14 | 2006-09-21 | Aisin Seiki Co Ltd | 周辺監視装置 |
| WO2007010729A1 (ja) * | 2005-07-15 | 2007-01-25 | Matsushita Electric Industrial Co., Ltd. | 画像合成装置及び画像合成方法 |
| JP2007043318A (ja) * | 2005-08-01 | 2007-02-15 | Nissan Motor Co Ltd | 車両用周囲監視装置及び車両周囲監視方法 |
| JP4677847B2 (ja) * | 2005-08-01 | 2011-04-27 | 日産自動車株式会社 | 車両用周囲監視装置及び車両周囲監視方法 |
| US8885045B2 (en) | 2005-08-02 | 2014-11-11 | Nissan Motor Co., Ltd. | Device and method for monitoring vehicle surroundings |
| JP2007043600A (ja) * | 2005-08-05 | 2007-02-15 | Alpine Electronics Inc | 周辺状況表示装置及び周辺状況表示方法 |
| JP2007038956A (ja) * | 2005-08-05 | 2007-02-15 | Alpine Electronics Inc | 周辺状況表示装置及び周辺状況表示方法 |
| JP4730819B2 (ja) * | 2005-08-05 | 2011-07-20 | アルパイン株式会社 | 周辺状況表示装置及び周辺状況表示方法 |
| JP2007069806A (ja) * | 2005-09-08 | 2007-03-22 | Clarion Co Ltd | 車両用障害物検出装置 |
| JP2007142545A (ja) * | 2005-11-15 | 2007-06-07 | Denso Corp | 車両周辺画像処理装置及びプログラム。 |
| JP4687411B2 (ja) * | 2005-11-15 | 2011-05-25 | 株式会社デンソー | 車両周辺画像処理装置及びプログラム |
| JP2009093485A (ja) * | 2007-10-10 | 2009-04-30 | Nippon Soken Inc | 画像生成装置及び画像生成プログラム |
| JP2009146132A (ja) * | 2007-12-13 | 2009-07-02 | Denso Corp | 車載用画像処理装置及び車載用画像表示装置 |
| JP2013506897A (ja) * | 2009-10-01 | 2013-02-28 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 交通状況のビデオデータと間隔データを組み合わせて視覚的に表示するための方法および装置 |
| WO2011058822A1 (ja) * | 2009-11-12 | 2011-05-19 | クラリオン株式会社 | 車両周囲表示装置、車両周囲表示方法 |
| JP2011255812A (ja) * | 2010-06-10 | 2011-12-22 | Aisin Seiki Co Ltd | 駐車支援装置 |
| JP2012123750A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
| US8913136B2 (en) | 2011-03-25 | 2014-12-16 | Fuji Xerox Co., Ltd. | Image display device, mobile terminal, non-transitory computer readable medium, and image display method |
| JP2014177275A (ja) * | 2014-01-10 | 2014-09-25 | Adc Technology Inc | 車載用画像表示装置 |
| WO2017188158A1 (ja) * | 2016-04-27 | 2017-11-02 | Ｋｙｂ株式会社 | 路面状態検出装置 |
| JP2017199178A (ja) * | 2016-04-27 | 2017-11-02 | Ｋｙｂ株式会社 | 路面状態検出装置 |
| CN108268833A (zh) * | 2017-01-04 | 2018-07-10 | 株式会社电装天 | 图像处理设备和图像处理方法 |
| JP2018110328A (ja) * | 2017-01-04 | 2018-07-12 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
| US10750093B2 (en) | 2017-01-04 | 2020-08-18 | Denso Ten Limited | Image processing device and image processing method |
| CN107403554A (zh) * | 2017-09-01 | 2017-11-28 | 北京壹卡行科技有限公司 | 双目集成驾驶员行为分析设备与方法 |
| CN107403554B (zh) * | 2017-09-01 | 2023-07-11 | 北京九州安华信息安全技术有限公司 | 双目集成驾驶员行为分析设备与方法 |
| JP2019067150A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社デンソー | 周辺監視装置および周辺監視方法 |
| JP2019073091A (ja) * | 2017-10-13 | 2019-05-16 | トヨタ自動車株式会社 | 車両用表示装置 |
| JP2021516390A (ja) * | 2018-03-09 | 2021-07-01 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 調整された投影面を有するサラウンドビュー・システム |
| JP7295123B2 (ja) | 2018-03-09 | 2023-06-20 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 調整された投影面を有するサラウンドビュー・システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004240480A (ja) | 運転支援装置 | |
| KR100481248B1 (ko) | 주변화상을 운전자에게 제시하기 위한 화상 합성 장치 및 그를 이용한 표시 장치, 경고 장치 및 위치 인식 장치 | |
| EP3650285B1 (en) | Parking assistance method and parking assistance device | |
| KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
| EP1961613B1 (en) | Driving support method and driving support device | |
| US8559675B2 (en) | Driving support device, driving support method, and program | |
| JP4412380B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
| US20100201818A1 (en) | Vehicle periphery displaying apparatus | |
| JP2013541915A (ja) | 死角地帯の表示装置および方法 | |
| CN109691088A (zh) | 图像处理设备、图像处理方法、以及程序 | |
| WO2002080557A1 (en) | Drive supporting device | |
| CN110831818B (zh) | 泊车辅助方法以及泊车辅助装置 | |
| JP2006252389A (ja) | 周辺監視装置 | |
| JP6586849B2 (ja) | 情報表示装置及び情報表示方法 | |
| US20130050490A1 (en) | Drive assisting apparatus | |
| JP7263731B2 (ja) | 画像処理装置 | |
| EP3967554B1 (en) | Vehicular display system | |
| JP2007134961A (ja) | 車両検出装置及びこれを用いた車両用表示装置 | |
| JP3988551B2 (ja) | 車両周囲監視装置 | |
| WO2015122124A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| KR101295618B1 (ko) | 사각 지대 표시 장치 및 방법 | |
| JP2011028634A (ja) | 車両用画像表示装置 | |
| WO2016088151A1 (ja) | 車載用表示装置、車両及び表示方法 | |
| WO2021199674A1 (ja) | 駐車支援装置、駐車支援システム、及び駐車支援方法 | |
| WO2020196676A1 (ja) | 画像処理装置、車両制御装置、および方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080402 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080730 |