JP2013213793A

JP2013213793A - 路面状態推定装置およびその推定結果を利用する車両制御装置

Info

Publication number: JP2013213793A
Application number: JP2012085284A
Authority: JP
Inventors: Haruhiko Sugai; 晴彦菅井
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2012-04-04
Filing date: 2012-04-04
Publication date: 2013-10-17

Abstract

【課題】シンプルな処理により路面全体の状態を精度よく推定できる路面状態推定装置を提供すると共に、その推定結果を利用する車両制御装置を提供する。
【解決手段】カメラ１２は、車両進行方向の路面画像を取得し、路面状態推定部２２は、取得した路面画像から予め設定された路面のパターン情報を検出する。さらに路面状態推定部２２は、検出したパターン情報と、パターン情報の路面画像内における占有状態に基づいて、路面画像の全範囲の路面状態を推定する。制御部１６は、結果出力部２６を介して推定した路面状態を各車載機器、例えばスタビライザ３４やサスペンション３６に提供して路面状態に適した制御を行う。
【選択図】図２

Description

本発明は、路面状態推定装置およびその推定結果を利用する車両制御装置、特に、路面全体の状態推定を行うと共にその路面全体の推定結果を利用して制御を行う車両制御装置に関する。

従来、路面形状を認識して、その認識結果を用いて車両の走行状態を安定化させたり、乗り心地を向上させたりする技術の開発が進められている。例えば、車両前方の状況をカメラ等の撮影装置で撮影し、その撮影した画像を画像処理することによって路面勾配等を推定する装置がある。例えば、特許文献１に開示された路面勾配推定装置は、車両前方の複数のカメラ画像を取得して、共通する静止物を特徴点として抽出する。そして、抽出された特徴点が複数のカメラ画像にわたって移動する移動量を検出して、その移動量に基づいて自車のピッチ角を算出する。さらに、自車の上下方向の加速度を検出し、加速度とピッチ角とに基づいて勾配角度を演算している。また、路面状態を推定する技術としては、特許文献２に開示されるように、カメラ画像を画像処理して、路面の乾湿状態を判定したり、特許文献３に開示されるように、カラー画像のＲＧＢの濃淡値に基づき、路面上の水分の有無を判定する技術等がある。

特開２０１０−２３３４号公報特開２０１１−１７４７９４号公報特開２００４−１９１２７６号公報

しかし、特許文献１の装置の場合、カメラ画像の中から抽出した特徴点の移動量に基づき路面勾配等を算出しているため、路面の一部の特徴に基づく路面状態の推定を頻繁に行うため、その推定結果を車両運動制御に利用した場合、路面状態に追従した詳細な制御ができる反面、車両運動制御が頻繁に行われすぎて、逆に違和感を与えてしまう場合が生じたり、非効率的な制御になってしまうおそれがあった。また、特許文献２、特許文献３の装置の場合、処理が複雑であり、やはり非効率的な制御になってしまうおそれがあった。

本発明はこうした状況に鑑みてなされたものであり、その目的とするところは、シンプルな処理により路面全体の状態を精度よく推定できる路面状態推定装置を提供すると共に、その推定結果を利用する車両制御装置を提供することにある。

上記課題を解決するために、本発明のある態様の路面状態推定装置は、車両進行方向の路面画像を取得する撮影手段と、取得した前記路面画像から予め設定された路面のパターン情報を検出し、検出した前記パターン情報と、前記パターン情報の前記路面画像内における占有状態に基づいて、前記路面画像の全範囲の路面状態を推定する路面状態推定手段と、を含む。

この態様によると、路面状態は検出したパターン情報と、パターン情報の路面画像内における占有状態とに基づいて路面画像の全範囲の路面状態を推定する。その結果、複雑な画像処理を行うことなく、車両前方路面全体の状態推定ができる。

前記路面状態推定手段は、前記パターン情報として前記路面画像に含まれる色彩情報を抽出し、前記路面画像内における特定の色彩情報の占有状態に基づいて、前記路面画像の全範囲の路面状態を推定してもよい。色彩情報は、例えば路面上に存在する残雪や水溜まりなどを識別するのに用いることができる。この態様によれば、パターンの形状が不規則なものでも色彩情報を用いることでパターン情報として容易に認識可能となり路面画像の全範囲の路面状態を容易に推定できる。

前記路面状態推定手段は、前記パターン情報として路面パターン画像を有し、当該路面パターンとの比較により路面構成を推定してもよい。この場合、取得した路面画像からのパターン情報の検出が容易になり、路面状態の推定処理速度が向上できる。

前記路面状態推定手段は、前記撮影手段で取得した前記路面画像の中から指定したパターン情報を登録する登録手段を有してもよい。例えば、石畳の特徴を示すパターン情報としてのブロックの大きさは道路によって様々であり、デフォルトとして持っている形状と一致しない場合もある。そこで、頻繁に利用する路面のパターン情報を登録することにより、パターン情報に基づく画像処理を効率的に行うことができる。また、画像処理の精度の向上にも寄与できる。

路面状態推定装置で推定した路面状態に基づいて車両の走行制御を行う。この場合、推定した路面状態は、例えば、サスペンション装置やエンジン、ブレーキ等の制御に利用する。推定された路面状態は、路面画像の全範囲を対象にしているため、頻繁な走行制御が実施されることを抑制しつつ、乗り心地や走行安定性を大きく損なわない効率的な制御が可能になる。

本発明によれば、シンプルな処理により路面全体の状態を精度よく推定できる路面状態推定装置が提供できると共に、その推定結果を利用した効率的な制御ができる車両制御装置が提供できる。

実施の形態に係る路面状態推定装置を搭載する車両の概念図である。実施の形態に係る路面状態推定装置を説明する機能ブロック図である。実施の形態に係る路面状態推定装置において石畳および波状路の推定を説明する説明図である。実施の形態に係る路面状態推定装置において雪道の推定を説明する説明図である。実施の形態に係る路面状態推定装置の路面推定処理を説明するフローチャートである。

以下、図面を参照しながら、本発明を実施するための最良の形態（以下、実施形態という）について詳細に説明する。
本実施形態の路面状態推定装置の撮影手段は、車両進行方向の路面画像を取得する。そして、取得した路面画像から予め設定された路面のパターン情報を検出し、検出したパターン情報と、パターン情報の路面画像内における占有状態とに基づいて、路面画像の全範囲の路面状態を推定するものである。

図１は、本発明の実施形態にかかる路面状態推定装置を搭載する車両１０の概念図である。車両１０は、路面状態の推定に用いる車両前方の路面画像を取得するための撮影手段としてのカメラ１２を備える。カメラ１２は、例えばＣＣＤあるいはＣＭＯＳ等の半導体素子を用いたカメラが利用可能であるが、カメラの種類はこれに限定されず、適宜選択可能である。カメラ１２は、少なくとも車両１０の前方路面Ｇを含む範囲を広角撮像できるものが好ましい。カメラ１２は、例えば、車室内のバックミラー１４の背面（車両前方側）に配置することができる。別の実施例では、前照灯やフロントバンパ、ボンネット等に配置してもよい。

図２は、本実施形態に係る路面状態推定装置を説明する機能ブロック図である。
路面状態推定装置全体を制御する制御部１６は、ＣＰＵを含むマイクロプロセッサとして構成されている。制御部１６は、カメラ制御部１８、画像取得部２０、路面状態推定部２２、記憶部２４、結果出力部２６等を含んでいる。

カメラ制御部１８は、カメラ１２の画像取得制御の全般を行い、路面画像を撮影／非撮影を制御したり、撮影感度の調整や撮影領域の調整を行う。カメラ１２は路面画像を所定周期で取得し、順次カメラ制御部１８を介して画像取得部２０に提供する。なお、カメラ１２は、基本的には、車両１０が走行状態であると確認できるとき、例えばシフト位置が「走行レンジ」のとき等に常時撮影を行う。別の例では、路面状態推定を実行するか否かをドライバが選択できる場合は、路面状態推定モードが選択された場合のみ、カメラ制御部１８等を動作させてカメラ１２による撮影を行うようにしてもよい。

画像取得部２０は、カメラ制御部１８を介して提供されたカメラ１２が撮影した路面画像を一時的に保存し、適宜路面状態推定部２２に路面画像を提供する。路面状態推定部２２は、画像取得部２０から提供される路面画像から路面状態の推定に利用できるパターン情報を検出する。このパターン情報は、記憶部２４に予め記憶された路面に関する基準パターン情報とのマッチング処理により検出する。基準パターン情報は、例えば路面を特徴付ける形状パターンや色彩パターンとすることができる。形状パターン（路面パターン画像）は種々有り、例えば「石畳」を構成するブロック形状パターンや「波状路」を形成する凹凸の連続形状パターン、「轍路」を形成する轍形状パターン、「砂利道」を構成する小石形状パターン等がある。また、色彩パターンは、通常路面の濃灰色に対し、所定の閾値を超える色、つまり、異なる色の路面があるか否かを識別するためのパターン情報である。例えば、「雪道」であることを示す白色パターン、「水溜まり」や「ウエット路」であることを示す黒色パターン、「石畳」であることを示す薄灰色パターン、「土路面」であることを示す茶色パターン等がある。これらの基準パターン情報は、デフォルト情報として、前述したように予め記憶部２４に記憶させておく。なお、ここで示した「路面種類」やそれに対応する「形状パターン」や「色彩パターン」は一例であり、適宜追加してもよい。

また、路面状態推定部２２は、カメラ１２で取得した路面画像の中から指定したパターン情報を基準パターン情報として登録する登録手段を有してもよい。登録手段は、例えば、車載モニターに路面画像を表示し、その表示の中から利用者に形状パターンや色彩パターン等を指定させて、記憶部２４に登録させる。例えば、同じ「石畳」でも、それを構成するブロックの大きさや形状、色は様々であり、全ての基準パターン情報をデフォルト情報として予め記憶部２４に記憶するのは記憶容量の関係からも現実的ではない。また、利用者によって、利用する道路がある程度限定されるので、デフォルト情報として複数種類の基準パターン情報を持つことは非効率的である。したがって、デフォルト情報としての基準パターン情報は、基本的なパターンのみとして登録手段を用いて適宜カスタマイズすることが使い勝手の向上や記憶部２４の効率的な利用の点からも有効である。なお、登録手段は、利用頻度の少ない基準パターン情報を手動または自動で削除できるようにしてもよい。この場合も、記憶部２４の効率的な利用の実現に寄与できる。

路面状態推定部２２は、画像取得部２０から路面画像を取得すると、まず、記憶部２４に記憶された基準パターン情報を参照しながら路面画像から路面状態の推定に利用できるパターン情報を検出する。すなわち、カメラ１２で撮影した路面画像の中に、記憶部２４に記憶された基準パターン情報と一致するパターン情報があるか確認する。例えば、図３（ａ）に示すように、カメラ１２で撮影した路面画像の中に、「石畳」のブロックと一致するパターン情報（形状パターン２８）が存在する場合、「石畳」の可能性を示すパターン情報として検出する。なお、カメラ１２で撮影される路面画像は、遠近法表現となるので、ブロックの大きさは、路面画像上の位置によって異なる。したがって、記憶部２４に記憶された基準パターン情報を遠近法表現にしたがって修正して一致するか否か判定することが好ましい。

続いて、路面状態推定部２２は、画面情報の中に記憶部２４に記憶された色彩パターンと一致するパターン情報が存在するか確認する。カメラ１２で撮影した路面画像の中に、一致する色彩パターンがある場合、そのパターン情報を検出する。もし、「石畳」を示す薄灰色の色彩パターンと一致するパターン情報がある場合、「石畳」の可能性を示すパターン情報として検出する。

そして、路面状態推定部２２は、「石畳」の可能性があるパターン情報であると判定したパターン情報の路面画像内における占有状態を算出する。例えば、路面画像の５０％以上を占有する場合、車両１０の前方の路面状態は、「石畳」であると判定する。一方、「石畳」の可能性があるパターン情報であると判定したパターン情報の路面画像内における占有状態が５０％未満の場合、路面状態は、「石畳」ではない、または「石畳」が存在するものの、それは路面の一部であると判定する。

図３（ｂ）は、「波状路」の推定を説明する説明図である。上述の例と同様に、路面状態推定部２２は、カメラ１２で撮影した路面画像の中に、「波状路」を示す周期的な凹凸の連続形状パターン３０と一致するパターン情報が存在する場合、「波状路」の可能性を示すパターン情報として検出する。この場合も記憶部２４に記憶された基準パターン情報を遠近法表現にしたがって修正して一致するか否か判定することが好ましい。

続いて、路面状態推定部２２は、画面情報の中に記憶部２４に記憶された色彩パターンと一致するパターン情報が存在するか確認する。カメラ１２で撮影した路面画像の中に、一致する色彩パターンがある場合、そのパターン情報を検出する。もし、「波状路」を示す濃淡を繰り返す縞模様の色彩パターンと一致するパターン情報がある場合、「波状路」の可能性を示すパターン情報として検出する。

そして、路面状態推定部２２は、「波状路」の可能性があるパターン情報であると判定したパターン情報の路面画像内における占有状態を算出する。例えば、「波状路」を示すパターン情報が含まれる領域が路面画像の５０％以上を占有する場合、車両１０の前方の路面状態は、「波状路」であると判定する。一方、「波状路」の可能性があるパターン情報であると判定したパターン情報が含まれる領域の路面画像内における占有状態が５０％未満の場合、車両前方の路面状態は、「波状路」ではない、または「波状路」が存在するものの、それは路面の一部であると判定する。

図４（ａ）、図４（ｂ）は、雪道の推定を説明する説明図である。「雪道」の場合、図４（ａ）に示すように雪は、形状パターンとしての検出は困難である場合が多い。一方、雪の白色は色彩パターンとして容易に検出できる。したがって、路面状態推定部２２は、「雪道」のように一致する形状パターンが取得し難い場合は、画面情報の中に記憶部２４に記憶された色彩パターンと一致するパターン情報が存在するか否かの確認を優先する。カメラ１２で撮影した路面画像の中に、一致する色彩パターン３２がある場合、そのパターン情報を検出する。もし、「雪道」を示す白色の色彩パターン３２と一致するパターン情報がある場合、「雪道」の可能性を示すパターン情報として検出する。

そして、路面状態推定部２２は、「雪道」の可能性があるパターン情報であると判定したパターン情報の路面画像内における占有状態を算出する。例えば、路面画像の５０％以上を占有する場合、車両１０の前方の路面状態は、概ね雪に覆われた「雪道」であると判定する。ところで、「石畳」や「波状路」であると判定された場合の車両運動制御のように、主に乗り心地を改善する制御であれば、上述のように２段階の判別でもよいが、「雪道」等のように走行時の注意度が残雪の状態により変化するような場合には、詳細に車両運動制御を行うことが好ましい。例えば、図４（ａ）に示すように、白色の色彩パターン３２で覆われている場合、つまり一面雪に覆われた「注意雪道」の場合、乗り心地制御等より走行安定化制御を優先させた方が好ましい。

逆に、図４（ｂ）に示すように、所々に白色の色彩パターン３２が存在する場合、つまり、所々残雪が残る「注意雪道」の場合は、その残雪程度により、車両運動制御の制御ゲインを切り替えて、乗り心地制御と走行安定化制御のバランスをとる制御を行う方が好ましい場合がある。そこで、「雪道」の可能性があるパターン情報であると判定したパターン情報の路面画像内における占有状態が、例えば５０％未満３０％以上の場合、「注意レベル３の雪道」であると判定する。また、占有状態が３０％未満１０％以上の場合、例えば「注意レベル２の雪道」であると判定する。また、占有状態が１０％未満の場合、例えば「注意レベル１の雪道」であると判定する。このように、「雪道」のようにスリップの可能性が高い路面であると判定した場合は、パターン情報の占有状態に応じて判定結果を詳細に分類することが好ましい。このような分類を行うことで、より詳細な車両運動制御に反映させることができる。なお、同様に、路面の色彩パターンに基づいて、「ウエット路面」や「ダート路面」であると判定した場合も、「雪道」と同様に水溜まりの状態やぬかるみの状態により注意度が変化するので、複数段階で路面状態の判定を行うことが望ましい。なお、色彩パターンを用いた色彩の一致は、必ずしも完全一致を必要とせず、例えば、各色彩パターンに色の許容範囲を設定して、その範囲と一致するか否かで判定してもよい。

図２に戻り、路面状態推定部２２は、路面状態の推定結果を結果出力部２６に提供し、結果出力部２６は各車載機器に対して、路面推定結果に基づく出力値を供給する。この場合、制御部１６は、車両制御装置としても機能する。車載機器としては、例えば、スタビライザ３４、サスペンション３６、ブレーキ制御部３８、エンジン制御部４０等があり、路面状態が車両の乗り心地を向上させるための機器や、車両の安定化走行を実現するための機器に提供される。例えば、スタビライザ３４をモータ等によって強制的に制御できる場合、路面状態（路面の種類）に応じてスタビライザの状態を変化させればローリングを抑制し乗り心地の向上に寄与できる。また、サスペンション３６の設定を変化させることができる場合、路面状態（路面の種類）に応じてサスペンションの硬さを変化させれば乗り心地の向上に寄与できる。ブレーキ制御部３８やエンジン制御部４０を路面状態（路面の種類）に応じて制御すれば、制動状態や加減速状態を路面状態に対応させ、乗り心地を向上すると共に走行安定性の向上にも寄与できる。なお、図２に示す機器は一例であり、ステアリング装置やドライブトレーン等、車両１０に搭載された種々の機器に路面状態を提供し制御に利用することができる。なお、各車載機器の制御は、例えば「スノーモード１」、「スノーモード２」、「ウエットモード１」、「ウエットモード２」、「ダートモード１」、「ダートモード２」、「石畳モード」、「波状路モード」等の専用モードを設けて切り替えるようにしてもよい。

図５は、本実施形態に係る路面状態推定装置の路面推定処理を説明するフローチャートである。この処理は、例えば、車両１０の走行が確認できる場合、例えば、シフト位置が「走行レンジ」にある場合や、車輪速センサ等からの信号に基づき、車両１０が現実に走行している場合に、所定の周期で実行される。制御部１６は、カメラ制御部１８を制御してカメラ１２により車両１０の前方の路面画像を撮影する（Ｓ１００）。続いて、路面状態推定部２２は画像取得部２０を介して得られた路面画像から路面のパターン情報を検出する（Ｓ１０２）。このとき、基本的には、形状パターンと色彩パターンの両方を検出するが、例えば、形状パターンのみで路面状態の特徴が十分に判別できる場合は、形状パターンの検出のみでもよい。同様に、色彩パターンのみで路面状態の特徴が十分に判別できる場合は色彩パターンの検出のみでもよい。そして、記憶部２４に記憶されている基準パターン情報と一致するパターン情報がある場合（Ｓ１０４のＹ）、路面状態推定部２２は、そのパターン情報の路面画像における占有状態（占有度）を検出し（Ｓ１０６）、その占有状態に応じて、路面状態の推定を行う（Ｓ１０８）。そして、制御部１６は結果出力部２６を介して各車載機器を提供して（Ｓ１１０）、このフローを一旦終了し、次の制御タイミングでＳ１００からの処理を再開する。なお、Ｓ１０４で一致するパターン情報がない場合（Ｓ１０４のＮ）、今回の路面画像を用いた路面状態の推定は一時中止して、このフローを一旦終了して、次の制御タイミングでＳ１００からの処理を再開する。この場合、車両制御装置として機能する制御部１６は、前回処理で推定した路面状態を維持して、今回の路面状態として、各車載機器に提供するようにしてもよい。

また、例えば、路面状態が「雪道」や「ウエット路面」のように注意度の高い路面であると判定した場合、制御部１６は、その判定結果に基づく車載機器の制御（モード切替）を行った後、一定期間その制御状態を維持し、その間の路面状態の推定処理を中止してもよい。この場合、カメラ１２による路面画像の撮影も一時中止してもよい。路面状態の推定処理は、例えばイグニッションスイッチがオフされ、再度オンされたことを条件に再開するようにしてもよい。これにより、注意が必要な路面で一度切り替えられたモードが不用意に別モードに切り替わることを抑制し走行性の向上に寄与できる。また、電力消費抑制もできる。

さらに、制御部１６は、車載機器のアクチュエータの応答速度では推定した路面状態に対する適切な制御ができないと判断した場合、例えば、極端な悪路であると推定した場合は、車載機器のアクチュエータの制御を前回状態で維持する。すなわち、乗り心地制御は実施しないようにして、新たな車両運動制御により車両安定性が低下することを抑制するようにしてもよい。

以上、本発明を上述の実施形態を参照して説明したが、本発明は上述の実施形態に限定されるものではなく、実施形態や変形例の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて各種の設計変更等の変形を実施形態に対して加えることも可能であり、そのような変形が加えられた実施形態も本発明の範囲に含まれうる。

１０車両、１６制御部、１８カメラ制御部、２０画像取得部、２２路面状態推定部、２４記憶部、２６結果出力部、２８形状パターン、３２色彩パターン。

Claims

車両進行方向の路面画像を取得する撮影手段と、
取得した前記路面画像から予め設定された路面のパターン情報を検出し、検出した前記パターン情報と、前記パターン情報の前記路面画像内における占有状態に基づいて、前記路面画像の全範囲の路面状態を推定する路面状態推定手段と、
を含むことを特徴とする路面状態推定装置。
前記路面状態推定手段は、前記パターン情報として前記路面画像に含まれる色彩情報を抽出し、前記路面画像内における特定の色彩情報の占有状態に基づいて、前記路面画像の全範囲の路面状態を推定することを特徴とする請求項１記載の路面状態推定装置。
前記路面状態推定手段は、前記パターン情報として路面パターン画像を有し、当該路面パターンとの比較により路面構成を推定することを特徴とする請求項１または請求項２記載の路面状態推定装置。
前記路面状態推定手段は、前記撮影手段で取得した前記路面画像の中から指定したパターン情報を登録する登録手段を有することを特徴とする請求項１からは請求項３のいずれか１項の記載の路面状態推定装置。
請求項１から請求項４のいずれか１項に記載の路面状態推定装置で推定した路面状態に基づいて車両の走行制御を行うことを特徴とする車両制御装置。