JP2015226240A - 車両姿勢判定装置 - Google Patents

Abstract

【課題】車両の姿勢の変化量を推定することができる車両姿勢判定装置を提供する。
【解決手段】車両に搭載されて車両周囲を撮像する複数のカメラ２Ｆ、２ＳＬ、２ＳＲ、２Ｒと、カメラ２Ｆ、２ＳＬ、２ＳＲ、２Ｒが撮像した複数の撮像画像を視点変換する視点変換手段７と、視点変換手段７が視点変換した視点変換画像における車線を認識する車線認識手段８と、車線認識手段８が認識した車線に基づいて車両の姿勢を判定する判定手段９とを備え、判定手段９は、隣接する視点変換画像でそれぞれ認識された車線のズレに基づいて車両の姿勢を判定することを特徴とする。
【選択図】図８

Description

本発明は、撮像画像を合成した視点変換画像上の車線を用いて車両の姿勢を判定する車両姿勢判定装置に関するものである。

従来、カメラを用いて車両が車線から逸脱することを防ぐレーンキープシステムが知られている（例えば特許文献１参照）。こうしたシステムでは、車線の位置やこの車線の曲率等の推定精度を高めることによってレーン逸脱の判定精度を高めている。例えば特許文献１では、カメラから比較的近い距離の車線の検出結果から曲率等のパラメータを算出し、これに遠距離の車線の検出結果を適用することで、推定誤差が大きくなりがちな遠方でも、車線の位置や曲率等の推定精度を高めている。

特開２０１３−１９６３４１号公報

しかし、従来の技術では、ロール角やピッチ角のような車両の姿勢を考慮していないため、例えば座席に人が着座したり、重量物が車内に搭載されたりして、車両の姿勢変化があった場合に、車両と車線との位置関係に誤差が生じ、レーン逸脱の判定精度が低下するおそれがあった。

本発明は、従来の問題を解決するためになされたもので、車両の姿勢の変化量を推定することができる車両姿勢判定装置を提供することを目的とする。

上記目的を達成するために本発明の一局面として、車両に搭載されて前記車両周囲を撮像する複数の撮像手段と、撮像手段が撮像した複数の撮像画像を視点変換する視点変換手段と、視点変換手段が視点変換した視点変換画像における車線を認識する車線認識手段と、車線認識手段が認識した車線に基づいて車両の姿勢を判定する判定手段とを備え、判定手段は、隣接する視点変換画像でそれぞれ認識された車線のズレに基づいて車両の姿勢を判定することを特徴とする。

また、本発明の他の局面として、車両に搭載されて前記車両周囲を撮像する複数の撮像手段と、前記撮像手段が撮像した複数の撮像画像における車線を認識する車線認識手段と、前記車線認識手段が認識した車線の座標を路面投影して視点変換する視点変換手段と、前記視点変換手段が視点変換した車線に基づいて車両の姿勢を判定する判定手段とを備え、前記判定手段は、隣接する前記撮像手段の撮像画像における車線について、前記視点変換手段によって視点変換されたときの車線のズレに基づいて車両の姿勢を判定することを特徴とする。

本発明によれば、撮像画像上の車線のズレから車両の姿勢の変化量を推定し、車線と車両の位置関係の誤差を補正することができるという効果を奏する。

本発明の実施の形態における車両姿勢判定装置のブロック図 本発明の実施の形態における車両姿勢判定装置による処理の概要を示すフローチャート図 本発明の実施の形態における車両姿勢判定装置によるロール角の推定方法をイメージで説明する図 本発明の実施の形態における車両姿勢判定装置で合成された視点変換画像上でのローリングの有無に応じた車線のズレをイメージで説明する図 本発明の実施の形態における車両姿勢判定装置で合成された視点変換画像上でのロール角に応じた車線のズレをイメージで説明する図 本発明の実施の形態における車両姿勢判定装置で合成された視点変換画像上でのピッチングの有無に応じた車線のズレをイメージで説明する図 本発明の実施の形態における車両姿勢判定装置で合成された視点変換画像上でのピッチ角に応じた車線のズレをイメージで説明する図 本発明の実施の形態における車両姿勢判定装置で合成された視点変換画像上でのピッチ角とロール角に応じた車線のズレをイメージで説明する図

以下、本発明の実施の形態における車両姿勢判定装置について図面を参照しながら説明する。

図１は本発明の実施の形態における車両姿勢判定装置のブロック図である。

図１において、車両姿勢判定装置は、ＥＣＵ１と、撮像手段２と、表示手段３と、車両情報取得手段４とを有する。

ＥＣＵ１は、撮像手段２から取得した画像に基づいて画像処理や車両姿勢の推定処理や推定結果から補正処理を行う。

撮像手段２は、車体に取り付けられた複数のカメラを有し、自車両周囲を撮像する。例えば、撮像手段２は、フロントバンパ等の車体の前方に取り付けられて自車両前方を撮像するフロントカメラ２Ｆ、左右のサイドミラー等の車体の側方に取り付けられてそれぞれ自車両の左側方、右側方を撮像する左サイドカメラ２ＳＬ、右サイドカメラ２ＳＲ、リアバンパ等の車体の後方に取り付けられて自車両後方を撮像するリアカメラ２Ｒを有する。

表示手段３は、ＥＣＵ１により処理された画像を表示するディスプレイ装置を有する。例えば、センターコンソールに取り付けられたナビゲーション装置等のディスプレイや、車両に接続されるスマートフォンなどのポータブルディスプレイや、ルームミラーの代替として車内に取り付けられた画像表示可能な電子ミラーである。

車両情報取得手段４は、車両に取り付けられた各種センサを有し、このセンサが取得した車両情報や車両周囲の環境情報をＥＣＵ１に出力する。ＥＣＵ１ではこの取得した情報を各種画像処理に用いてもよい。例えば車両情報取得手段４は、ギアポジションセンサを有し、ギア情報をＥＣＵ１に出力する。そして、ＥＣＵ１はギアに応じて各種画像処理に用いる画像の種類を決定する。ギアがドライブのポジションのときには、前方画像と側方画像を用いて車線認識処理を行い、リアのポジションのときには後方画像と側方画像を用いて車線認識処理を行う。これは一例であって、ＥＣＵ１は、車速センサや舵角センサなどの他のセンサの情報を用いて他の画像処理を行うようにしてもよい。

ＥＣＵ１は、撮像手段２が取得した車両周囲の画像を一時記憶するＲＡＭ等の揮発性メモリ５と、画像処理の各種プログラムが記憶されたＲＯＭ等の不揮発性メモリ６と、撮像
手段２が取得した撮像画像を視点変換する視点変換手段７と、視点変換手段７が視点変換した画像に基づいて自車両周辺の車線を画像認識する車線認識手段８と、車線認識手段８が認識した車両周囲の車線の位置や方向のズレに基づいて車両姿勢を判定する判定手段９と、判定手段９による判定結果に基づいて車線のズレの影響を抑制するよう視点変換画像を補正する補正手段１０と、これらをそれぞれ接続するバス１１とを有する。

また、不揮発性メモリ６は、ＲＯＭに限られず、ＨＤＤやＳＤ等の不揮発性媒体で代替されてもよい。また、不揮発性媒体としての記憶手段でなくてもよく少なくとも一時的に記憶ができる他のハードウェアであっても良い。例えば、Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ(ＡＳＰ）等、外部ネットワークを介して一時的にプログラムを記憶することができればよい。ＲＡＭで機能を代替してもよい。揮発性メモリ５に関してもＲＡＭに限られず、ＤＲＡＭ等の揮発性媒体で代替されてもよいし、演算結果等を一時記憶できるのであれば他のハードウェアであっても良い。

また、視点変換手段７、車線認識手段８、判定手段９、補正手段１０は例えばＣＰＵやＬＳＩで構成される。１チップであってもよいし別体であってもよい。なお、演算処理回路であれば、ＡＳＩＣ等他のハードウェアで構成されても良い。

次に、本発明の実施の形態における車両姿勢判定装置の概略動作について説明する。

図２は、本発明の実施の形態における車両姿勢判定装置による処理の概要を示すフローチャート図である。

まず、ステップＳ２１に示すように、撮像手段２が撮像画像取得処理を行い、取得画像が揮発性メモリ５に一時記憶される。具体的には、フロントカメラ２Ｆ、左サイドカメラ２ＳＬ、右サイドカメラ２ＳＲ、リアカメラ２Ｒが車両周囲の前方画像、左側方画像、右側方画像、後方画像を撮像し、揮発性メモリ５はこれらの撮像画像を記憶する。

次に、ステップＳ２２に示すように、視点変換手段７は、揮発性メモリ５から読みだした取得画像について視点変換処理を行う。例えば視点変換手段７は撮像手段２から揮発性メモリ５を介して取得した車両周囲の前方画像、左側方画像、右側方画像、後方画像についてそれぞれ車両の真上から見下ろした視点の俯瞰画像を生成する。なお、必ずしも真上から見下ろす視点でなくてもよいが、各画像で同一視点による視点変換処理が行われる。また、視点変換手段７は、前方画像、左側方画像、右側方画像、後方画像をそれぞれ視点変換した４つの視点変換画像を１枚の画像に合成して以後の処理を行ってもよいし、別々の４つの画像のまま以後の処理を行ってもよい。

次に、ステップＳ２３に示すように、車線認識手段８は、視点変換された画像中に含まれる車線認識処理を行う。車線認識自体は白線検知等の周知の手法を用いればよいため、詳細な説明は省略するが、例えば特開２００１−２５６４８４号公報の手法を用いてもよい。ここで、車線認識手段８は、視点変換画像において、認識した車線の位置情報を少なくとも取得する。なお、車線認識手段８は、前方画像、左側方画像、右側方画像、後方画像の各視点変換画像について車線認識を行うが、少なくとも進行方向と左右側方画像について行えばよい。したがって、車線認識手段８は、例えば、車両情報取得手段４から取得したギアポジション情報に基づいて前方画像または後方画像の視点変換画像のいずれについて車線認識を行うか決定するようにしてもよい。また、本実施形態では視点変換された画像中に含まれる車線について車線認識処理を行うが、必ずしもこれに限られない。例えば、撮像手段２の撮像画像中に含まれる車線について車線認識処理を行い、認識した車線の座標のみを視点変換するようにしてもよい。

次に、ステップＳ２４に示すように、判定手段９は、車線認識手段８が認識した車線に基づいて車両姿勢の判定処理を行う。具体的には、隣接する視点変換画像でそれぞれ認識された車線のズレに基づいて車両の姿勢を判定する。例えば、判定手段９は、前方の視点変換画像と左側方の視点変換画像の境界においてそれぞれ認識された車線の位置ズレ量とそのズレの方向、前方の視点変換画像と右側方の視点変換画像の境界においてそれぞれ認識された車線の位置ズレ量とそのズレの方向の関係を、予め不揮発性メモリ６に記憶してある車線の位置ズレ量とその方向に対する車両姿勢の関係を定めたデータテーブルと比較することによって、現在の車両の姿勢を判定する。

そして、ステップＳ２５に示すように、補正手段１０は、判定手段９によって判定された車両姿勢に基づいて、視点変換手段７によって視点変換された視点変換画像から車両姿勢の変化が無くなるように補正処理を行う。表示手段３は、この補正された視点変換画像を表示する。表示に際しては、視点変換手段７によって１枚の合成画像に合成される。

次に、隣接する視点変換画像でそれぞれ認識された車線のズレに基づいて車両の姿勢を判定する処理について詳細に説明する。特に、車両の姿勢として、ローリングとピッチングの変化が判定される。

まずローリングの判定について図３〜図５を用いて説明する。ここではピッチングの変化は無いものとして説明する。図３（ａ）ではロール角が無く車両姿勢は変化していないため、図４（ａ）に示すように、前方の視点変換画像と左右側方の視点変換画像の境界ではズレが無い。一方、図３（ｂ）ではロール角があって車両姿勢が変化しており、図４（ｂ）に示すように、前方の視点変換画像と左右側方の視点変換画像の境界ではズレが生じている。

これは、左右サイドカメラ２ＳＬ、２ＳＲに比べてフロントカメラ２Ｆではより遠くに左右の車線２０１Ｌ、２０１Ｒが見えているため、同じロール角の変化（例えば単位角度＝１度）でも側方と前方の視点変換画像上での車線位置の変化量が異なり、フロントカメラ２Ｆの方が位置の変化量（誤差）が大きい。例えば図３（ｂ）の左側車線２０１Ｌを用いて説明すると、フロントカメラ２Ｆによる車線位置の変化はΦＦ２−ΦＦ１の角度変化に依存し、左サイドカメラ２ＳＬによる車線位置の変化はΦＳＬ２−ΦＳＬ１の角度変化に依存する。ΦＦ２−ΦＦ１＞ΦＳＬ２−ΦＳＬ１であるため、フロントカメラ２Ｆの方が左サイドカメラ２ＳＬよりも位置の変化量が大きくなる。右側車線２０１Ｒについても同様に、ΦＦ２−ΦＦ１＞ΦＳＲ２−ΦＳＲ１であるため、フロントカメラ２Ｆの方が右サイドカメラ２ＳＲよりも位置の変化量が大きくなる。そこで、判定手段９は、左右サイドカメラ２ＳＬ、２ＳＲとフロントカメラ２Ｆの差異を利用してロール角を判定するものである。具体的には、図４（ｂ）に示すように、車線のズレ量とズレの方向でロール角が判定される。

次に、視点変換画像上でのロール角に応じた車線のズレをイメージで説明する。図５（ａ）ではロール角が小さい場合、図５（ｂ）ではロール角が大きい場合について、前方の視点変換画像と左右側方の視点変換画像の境界での車線のズレ量とズレの方向が示されている。

図５（ａ）では、車線認識手段８によって、前方の視点変換画像と左側方の視点変換画像の境界について、車線のズレ量がＷ１ｒｏｌｌ＿Ｌ、ズレ方向が紙面左方向であることが算出される。また、前方の視点変換画像と右側方の視点変換画像の境界について、車線のズレ量がＷ１ｒｏｌｌ＿Ｒ、ズレ方向が紙面左方向であることが算出される。

一方、図５（ｂ）では、車線認識手段８によって、前方の視点変換画像と左側方の視点
変換画像の境界について、車線のズレ量がＷ２ｒｏｌｌ＿Ｌ、ズレ方向が紙面左方向であることが算出される。また、前方の視点変換画像と右側方の視点変換画像の境界について、車線のズレ量がＷ２ｒｏｌｌ＿Ｒ、ズレ方向が紙面左方向であることが算出される。

図５（ａ）と図５（ｂ）で示されるように、ロール角の変化が小さい場合、左右の車線で位置ズレ量の差分Ｗ１ｒｏｌｌ＿Ｌ−Ｗ１ｒｏｌｌ＿Ｒは小さいが、ロール角の変化が大きい場合、左右の車線で位置ズレ量の差分Ｗ２ｒｏｌｌ＿Ｌ−Ｗ２ｒｏｌｌ＿Ｒが大きくなる。ただし、位置ズレの方向は同じである。したがって、判定手段９は、左右の車線の位置ズレ量の差分を算出することによって、車両のローリング方向の姿勢（ロール角）を判定することができる。具体的には、判定手段９は、左右の車線の位置ズレ量の差分と、例えば位置ズレ量の差分とロール角とが予め関係づけられたデータテーブルを不揮発性メモリ６から読みだして比較することによってロール角を判定する。

次に、ピッチングの判定について図６、図７を用いて説明する。ここでは逆にローリングの変化は無いものとして説明する。図６（ａ）に示すように、ピッチングが無く車両姿勢が変化していない場合、前方の視点変換画像と左右側方の視点変換画像の境界ではズレが無い。一方、図６（ｂ）に示すように、ピッチングがあって車両姿勢が変化している場合、前方の視点変換画像と左右側方の視点変換画像の境界ではズレが生じており、さらに車線に傾きが生じている。また、左右でズレの方向も異なっている。

また、ピッチングについても、図３を用いて説明したローリングの場合と同様に、左右サイドカメラ２ＳＬ、２ＳＲに比べてフロントカメラ２Ｆではより遠くに左右の車線２０１Ｌ、２０１Ｒが見えているため、同じピッチ角の変化（例えば単位角度＝１度）でも側方と前方の視点変換画像上での車線位置の変化量が異なり、フロントカメラ２Ｆの方が位置の変化量（誤差）が大きい。そこで、判定手段９は、左右サイドカメラ２ＳＬ、２ＳＲとフロントカメラ２Ｆの差異を利用してピッチ角を判定する。具体的には、図６（ｂ）に示すように、車線のズレ量とズレの方向でピッチ角が判定される。特に、ロール角に対してピッチ角では左右の車線のズレの方向が異なるため、ピッチ角とロール角を区別して判定することができる。

次に、視点変換画像上でのピッチ角に応じた車線のズレをイメージで説明する。図７（ａ）ではピッチ角が小さい場合、図７（ｂ）ではピッチ角が大きい場合について、前方の視点変換画像と左右側方の視点変換画像の境界での車線のズレ量とズレの方向が示されている。

図７（ａ）では、車線認識手段８によって、前方の視点変換画像と左側方の視点変換画像の境界について、車線のズレ量がＷ１ｐｉｔｃｈ＿Ｌ、ズレ方向が紙面左方向であることが算出される。また、前方の視点変換画像と右側方の視点変換画像の境界について、車線のズレ量がＷ１ｐｉｔｃｈ＿Ｒ、ズレ方向が紙面右方向であることが算出される。また、車線の傾きθ１が算出される。

一方、図７（ｂ）では、車線認識手段８によって、前方の視点変換画像と左側方の視点変換画像の境界について、車線のズレ量がＷ２ｐｉｔｃｈ＿Ｌ、ズレ方向が紙面左方向であることが算出される。また、前方の視点変換画像と右側方の視点変換画像の境界について、車線のズレ量がＷ２ｐｉｔｃｈ＿Ｒ、ズレ方向が紙面右方向であることが算出される。また、車線の傾きθ２が算出される。なお、本実施形態では右側の車線について傾きを算出したが、左側の車線について傾きを算出してもよいし、両方の車線について傾きを算出してもよい。

図７（ａ）と図７（ｂ）で示されるように、ピッチ角の変化が小さい場合、左右の車線
で位置ズレ量Ｗ１ｐｉｔｃｈ＿Ｌ、Ｗ１ｐｉｔｃｈ＿Ｒはそれぞれ、ピッチ角の変化が大きい場合の左右の車線の位置ズレ量Ｗ２ｐｉｔｃｈ＿Ｌ、Ｗ２ｐｉｔｃｈ＿Ｒよりも小さい。しかし、ローリングのときと異なり、ピッチ角の変化が小さい場合の左右の車線で位置ズレ量の差分Ｗ１ｐｉｔｃｈ＿Ｌ−Ｗ１ｐｉｔｃｈ＿Ｒと、ピッチ角の変化が大きい場合の左右の車線で位置ズレ量の差分Ｗ２ｐｉｔｃｈ＿Ｌ−Ｗ２ｐｉｔｃｈ＿Ｒとは、ローリングのときほど明確な違いとなって現れない。これは、左右の側方カメラ２ＳＬ、２ＳＲと車線２０１Ｌ、２０２Ｒの関係が、ローリングの場合、片方のカメラが車線に近づき他方のカメラが車線から遠ざかる左右非対称な変化となっていたが、ピッチングの場合はどちらも近づくか遠ざかる左右対称な変化となっているからである。そこで、判定手段９は、少なくとも一方の車線について、位置ズレの変化量、または、傾き量に応じて車両のピッチング方向の姿勢（ピッチ角）を判定することができる。具体的には、判定手段９は、左または右の車線の位置ズレ量または傾き量と、例えば位置ズレ量または傾き量とピッチ角とが予め関係づけられたデータテーブルを不揮発性メモリ６から読みだして比較することによってピッチ角を判定する。

ここで、実世界では、ピッチングとローリングが同時に起こっている場合がある。そこで、判定手段９は、ピッチ角とロール角の変化を両方判定することも可能である。これについて図８を用いて説明する。

図８に示すように、ピッチングとローリングが同時に起こって車両姿勢が変化している場合、前方の視点変換画像と左右側方の視点変換画像の境界では車線の位置ズレが生じている。車線の位置ズレ量は、ピッチングによる位置ズレ量とローリングによる位置ズレ量が加算されたものとなっている。すなわち、図８に示すように、左右の車線の位置ズレ量の差分は、それぞれＷ３ｒｏｌｌ＿Ｌ＋Ｗ３ｐｉｔｃｈ＿Ｌと、Ｗ３ｒｏｌｌ＿Ｒ−Ｗ３ｐｉｔｃｈ＿Ｒとなる。ピッチングの場合は位置ズレの方向が左右で異なるため、加算されるか減算されるかが左右で異なっている。

ここで、ピッチングが起こっていることで車線に傾きθ３が生じている。この傾きの関係については、上述のピッチングのみが起こっているときと変わらないため、判定手段９は、まず車線の傾きに基づいてピッチ角を判定する。そして、判定手段９は、判定したピッチ角に対応する左右の車線の位置ズレ量を、例えばピッチ角と位置ズレ量が関連付けられたデータテーブルを参照することで算出する。そして判定手段９は、左右の車線についてピッチングとローリングによる位置ズレ量の加算値（Ｗ３ｒｏｌｌ＿Ｌ＋Ｗ３ｐｉｔｃｈ＿Ｌ、Ｗ３ｒｏｌｌ＿Ｒ−Ｗ３ｐｉｔｃｈ＿Ｒ）から、この算出した左右の車線のピッチングによる位置ズレ量（Ｗ３ｐｉｔｃｈ＿Ｌ、Ｗ３ｐｉｔｃｈ＿Ｒ）を除くことで、左右の車線についてローリングによる位置ズレ量（Ｗ３ｒｏｌｌ＿Ｌ、Ｗ３ｒｏｌｌ＿Ｒ）を算出する。そして、判定手段９は、この左右の車線のローリングによる位置ズレ量の差分（Ｗ３ｒｏｌｌ＿Ｌ−Ｗ３ｒｏｌｌ＿Ｒ）を算出し、予めローリングによる位置ズレ量の差分とロール角とが関連付けられたデータテーブルを参照することで、ロール角を判定する。

以上のように、本実施形態の車両姿勢判定装置によれば、カメラによる撮像画像の視点変換画像について、位置ズレやズレの方向、傾きなどの車線のズレを用いることで、ジャイロや加速度センサを用いずに、画像処理のみでローリングやピッチングなどの車両姿勢の推定を行うことができる。そして、その判定結果を用いて車線と車両の位置関係の誤差を補正することができる。なお、本実施形態では、補正手段による補正を視点変換画像の補正として説明したがこれは一例であって、補正手段は、レーンキープアシストや、サスペンション制御など、ロール角やピッチ角を用いた他の制御に関する補正を行ってもよい。

なお、本発明は、上述の構成に限定されることなく、発明の要旨を逸脱しない範囲で種々の変形が可能である。また、上記実施形態は、一例として提示したものであり、発明の範囲を限定することは意図していない。

本開示の車両姿勢判定装置は、車両に搭載されて前記車両周囲を撮像する複数の撮像手段と、前記撮像手段が撮像した複数の撮像画像を視点変換する視点変換手段と、前記視点変換手段が視点変換した視点変換画像における車線を認識する車線認識手段と、前記車線認識手段が認識した車線に基づいて車両の姿勢を判定する判定手段とを備え、前記判定手段は、隣接する前記視点変換画像でそれぞれ認識された車線のズレに基づいて車両の姿勢を判定する。

また、上記車両姿勢判定装置において、前記視点変換手段は、前記撮像手段が撮像した複数の撮像画像に基づいて視点変換画像を合成し、前記車線認識手段は、前記視点変換手段が合成した視点変換画像における車線を認識してもよい。

また、上記車両姿勢判定装置において、前記判定手段は、隣接する前記視点変換画像でそれぞれ認識された車線のズレ量とズレの方向と車線の傾きの少なくとも１つに基づいて車両の姿勢を判定してもよい。

また、上記車両姿勢判定装置において、前記判定手段は、少なくとも車両のピッチ角とロール角を判定してもよい。

また、上記車両姿勢判定装置において、前記判定手段は、前記視点変換画像で認識された車線の傾きに基づいて車両のピッチ角を判定してもよい。

また、上記車両姿勢判定装置において、前記判定手段は、隣接する前記視点変換画像でそれぞれ認識された左右の車線のズレ量の差分に基づいて車両のロール角を判定してもよい。

また、上記車両姿勢判定装置において、前記判定手段は、前記視点変換画像で認識された車線の傾きに基づいて車両のピッチ角を判定し、前記左右の車線のズレ量の差分から前記ピッチ角に基づく左右の車線のズレ量を除いて車両のロール角を判定してもよい。

また、上記車両姿勢判定装置において、前記撮像手段は、少なくともフロントカメラ、左サイドカメラ、右サイドカメラを有し、前記判定手段は、前記フロントカメラが撮像した画像の視点変換画像上の車線と前記左サイドカメラが撮像した画像の視点変換画像上の車線との間の第１のズレ量と第１のズレの方向、および、前記フロントカメラが撮像した画像の視点変換画像上の車線と前記右サイドカメラが撮像した画像の視点変換画像上の車線との間の第２のズレ量と第２のズレの方向とに基づいて車両の姿勢を判定してもよい。

また、上記車両姿勢判定装置において、前記判定手段は、前記フロントカメラが撮像した画像の視点変換画像上の車線、前記左サイドカメラが撮像した画像の視点変換画像上の車線、および、前記右サイドカメラが撮像した画像の視点変換画像上の車線の傾きの少なくとも１つに基づいて車両の姿勢を判定してもよい。

また、本開示の車両姿勢判定装置は、車両に搭載されて前記車両周囲を撮像する複数の撮像手段と、前記撮像手段が撮像した複数の撮像画像における車線を認識する車線認識手段と、前記車線認識手段が認識した車線の座標を路面投影して視点変換する視点変換手段と、前記視点変換手段が視点変換した車線に基づいて車両の姿勢を判定する判定手段とを備え、前記判定手段は、隣接する前記撮像手段の撮像画像における車線について、前記視
点変換手段によって視点変換されたときの車線のズレに基づいて車両の姿勢を判定する。

本発明の車両姿勢判定装置は、画像処理によってローリングやピッチングの車両姿勢を推定するセンサとして有用である。

１ ＥＣＵ
２ 撮像手段
３ 表示手段
４ 車両情報取得手段
５ 揮発性メモリ
６ 不揮発性メモリ
７ 視点変換手段
８ 車線認識手段
９ 判定手段
１０ 補正手段

Claims (10)

1. 車両に搭載されて前記車両周囲を撮像する複数の撮像手段と、
   前記撮像手段が撮像した複数の撮像画像を視点変換する視点変換手段と、
   前記視点変換手段が視点変換した視点変換画像における車線を認識する車線認識手段と、
   前記車線認識手段が認識した車線に基づいて車両の姿勢を判定する判定手段とを備え、
   前記判定手段は、隣接する前記視点変換画像でそれぞれ認識された車線のズレに基づいて車両の姿勢を判定することを特徴とする車両姿勢判定装置。
2. 前記視点変換手段は、前記撮像手段が撮像した複数の撮像画像に基づいて視点変換画像を合成し、
   前記車線認識手段は、前記視点変換手段が合成した視点変換画像における車線を認識することを特徴とする車両姿勢判定装置。
3. 前記判定手段は、隣接する前記視点変換画像でそれぞれ認識された車線のズレ量とズレの方向と車線の傾きの少なくとも１つに基づいて車両の姿勢を判定することを特徴とする請求項１または２に記載の車両姿勢判定装置。
4. 前記判定手段は、少なくとも車両のピッチ角とロール角を判定することを特徴とする請求項１ないし３のいずれかに記載の車両姿勢判定装置。
5. 前記判定手段は、前記視点変換画像で認識された車線の傾きに基づいて車両のピッチ角を判定することを特徴とする請求項１ないし４のいずれかに記載の車両姿勢判定装置。
6. 前記判定手段は、隣接する前記視点変換画像でそれぞれ認識された左右の車線のズレ量の差分に基づいて車両のロール角を判定することを特徴とする請求項１ないし５のいずれかに記載の車両姿勢判定装置。
7. 前記判定手段は、前記視点変換画像で認識された車線の傾きに基づいて車両のピッチ角を判定し、前記左右の車線のズレ量の差分から前記ピッチ角に基づく左右の車線のズレ量を除いて車両のロール角を判定することを特徴とする請求項６に記載の車両姿勢判定装置。
8. 前記撮像手段は、少なくともフロントカメラ、左サイドカメラ、右サイドカメラを有し、
   前記判定手段は、前記フロントカメラが撮像した画像の視点変換画像上の車線と前記左サイドカメラが撮像した画像の視点変換画像上の車線との間の第１のズレ量と第１のズレの方向、および、前記フロントカメラが撮像した画像の視点変換画像上の車線と前記右サイドカメラが撮像した画像の視点変換画像上の車線との間の第２のズレ量と第２のズレの方向とに基づいて車両の姿勢を判定することを特徴とする請求項１ないし７のいずれかに記載の車両姿勢判定装置。
9. 前記判定手段は、前記フロントカメラが撮像した画像の視点変換画像上の車線、前記左サイドカメラが撮像した画像の視点変換画像上の車線、および、前記右サイドカメラが撮像した画像の視点変換画像上の車線の傾きの少なくとも１つに基づいて車両の姿勢を判定することを特徴とする請求項７に記載の車両姿勢判定装置。
10. 車両に搭載されて前記車両周囲を撮像する複数の撮像手段と、
    前記撮像手段が撮像した複数の撮像画像における車線を認識する車線認識手段と、
    前記車線認識手段が認識した車線の座標を路面投影して視点変換する視点変換手段と、
    前記視点変換手段が視点変換した車線に基づいて車両の姿勢を判定する判定手段とを備え、
    前記判定手段は、隣接する前記撮像手段の撮像画像における車線について、前記視点変換手段によって視点変換されたときの車線のズレに基づいて車両の姿勢を判定することを特徴とする車両姿勢判定装置。