JP2015510119A - ３ｄカメラを用いた道路表面の状態の割り出し - Google Patents

Abstract

本発明は、３Ｄカメラを用いた道路表面の状態を割り出すための方法並びに装置に関する。３Ｄカメラによって、車両前方に横たわる周辺部の少なくとも一枚の画像を撮影する。３Ｄカメラの画像データから走行方向（１）に対して横向き（ｙ）の複数のライン（５）に沿って道路表面の凹凸プロファイル（ｈ）が分析される。割出された凹凸プロファイル（ｈ）から、道路表面の状態（２；６；７；８）が認識される。

Description

本発明は、（空間的解像度を有する）３Ｄカメラを用いた道路表面の状態を割り出すための方法並びに装置に関する。

特許文献１は、ある車線における車両の前方の道路の特徴を割出すための方法及び装置を開示している。画像取得手段、或いは、車両固有運動データから、車両の前方にある車線の道路の特徴を割出している。該画像取得手段は、車両の前方に搭載され、画像取得ユニットを包含するカメラであることができる。割出された道路の特徴に応じて、アクティブな足回り制御（シャーシ・コントロール／ダンパ・コントロール）や可変ダンパーを制御できる。

事故回避は、ドライバー・アシスタント・システムにおいて、ますますその意味が増してきている。中でも特に緊急ブレーキシステムは、重要な貢献をしている。しかしその効果は、車両のタイヤに対する路面の摩擦係数（ｃｏｅｆｆｉｃｉｅｎｔ ｏｆ ｆｒｉｃｔｉｏｎ）に大きく依存している。特に濡れは、乾燥した路面と比較して、摩擦係数を非常に低下させる。

特許文献２は、車両におけるレーザーを用いた摩擦係数の段階的評価の方法を開示している。ここでは、走行路面に向けられたライダー・センサーやＣＶセンサーのシグナルが、評価され、続いて、特に、振幅に基づいて、測定された走行路面に摩擦係数が割り当てられる。例えば、走行路面が、雪、アスファルト、氷のいずれであるかが推測される。

従来技術に係る道路表面の状態を割り出すための方法には、これらでは、足回り制御にのみ画像取得と画像評価が用いられる、或いは、高価であり、しかも、車線に正確に向けられなければならないライダー・センサーが必要である等の欠点があり、場合によっては、道路表面の状態を十分に先持って推測できない場合もあり得る。

ドイツ特許公開第１０２００９０３３２１９号明細書 国際特許公開第２０１１／００７０１５号明細書

よって、本発明の課題は、これらの欠点を排除し、安価であるにもかかわらず信頼性が高く、道路表面の状態の予見的な認識を可能にすることである。

この課題は、車両周辺の少なくとも一枚の画像を３Ｄカメラによって撮影することにより解決される。３Ｄカメラの画像データから走行方向に対して横向きの複数のラインに沿って道路表面の凹凸プロファイルが分析される。このラインは、スキャン・ラインとも呼ばれる。即ち、各々のラインに沿って、凹凸プロファイルが「スキャン」される。割出された凹凸プロファイルから、道路表面の状態が認識される。ここで言う「状態」とは特に、道路表面を構成しているマテリアル（タール、砂、氷、雪）、表面の形状（平ら、粗い、デコボコ）、並びに、マテリアルの部分的な変化、乃至、道路表面の平らさ（オイル、水溜り、ポットホール、轍など）のことである。

道路表面の状態は、好ましくは、割出された凹凸プロファイルとセーブされている既知の状態の凹凸プロファイルとの比較から分析される。これには、検出されたどの凹凸プロファイルが、道路表面のどの状態に相当するかを学ぶ目的で、状態分類手段を予め訓練しておくことができる。

代案として、或いは、付属的に、例えば、周波数分析（乃至、車線表面の個々の凹みや突出の幅、及び／或いは、走行方向への広がり）、波長同定、勾配の算出など、検出された凹凸プロファイルの量的評価を実施することもできる。量的評価からは、例えば、砂利道における凹凸プロファイルの強いノイズなどと言った特徴的な値から、典型的な状態を割出すことができる。一方、路面上の水の層や氷の層がある場合、道路表面は、平らになる。これは、路面脇に雪がある場合に起こりやすい。

ある好ましい実施形態においては、割出された凹凸プロファイルに加え、３Ｄカメラの少なくとも一つの単眼カメラの２Ｄ画像データが評価され、道路表面の状態の認識のために用いられる。２Ｄ画像データの評価は、道路表面の領域に制限される必要は無く、特に、車線の脇の領域も包含していることが好ましい。

本発明の有利な発展系によれば、２Ｄ画像データは、テクスチャー分析やパターン分析によって評価されることができる。テクスチャー分析、及び／或いは、パターン分析とは、例えば、ニューラル・ネットワークを用いて訓練されたテクスチャー分析、及び／或いは、パターン分析による分類である。例えば、石畳は、その特徴的なテクスチャー、乃至、パターンから２Ｄ画像において良好に認識可能である。

２Ｄ画像データは、エッジ分析、及び／或いは、カラー分析によって評価されることが好ましい。エッジ検出には、それ自体既知のエッジ認識用のアルゴリズムを用いることができる。エッジの位置は、該エッジ・プロファイルが既知な道路表面の状態の認識を可能にする、或いは、サポートする。グレースケール分析、或いは、カラー分析によれば、例えば、車線の上、或いは、その脇の白い領域において雪を認識することが可能になる。

認識された道路表面の状態から、前方に横たわる道路表面と車両のタイヤの間の（場所ごとの）摩擦係数が推定されることが好ましい。
これにより前方に横たわる異なる状態の道路表面領域において、場所ごとの摩擦係数を推定できる。

ある好ましい実施形態においては、少なくとも一つの推定された摩擦係数が、操舵介入、及び／或いは、ブレーキ介入（ＡＢＳ、ＥＳＰ、ＡＣＣ、緊急ブレーキ・アシスタント、レーン維持アシスタント、回避アシスタント、及び／或いは、緊急操舵アシスタント）のスタンバイに使用される。

該３Ｄカメラとしては、ステレオ・カメラやＰＭＤカメラやＰＭＤセンサーが好ましく採用される（英語：Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）。

本発明は、更に、道路表面の状態を割出すための装置にも関する。これには、３Ｄカメラ、評価手段、並びに、認識手段が、設けられている。該３Ｄカメラは、車両前方の車線を含む、車両の前に横たわる周辺領域の少なくとも一枚の画像の撮影を可能にする。該評価手段は、３Ｄカメラの画像データから、走行方向に対して横向きの複数のラインに沿って道路表面の凹凸プロファイルの割出す役割を担っている。認識手段は、割出された凹凸プロファイルから、道路表面の状態を割出す役割を担っている。

以下、本発明を、図面と実施例に基づいて詳しく説明する。

これに沿って道路表面の凹凸プロファイルが割出される走行方向に対して横向きのラインを表す図 ポットホールが存在する場合における、走行方向に対して横向きの道路表面の凹凸プロファイルの例を表す図 石畳における、走行方向に対して横向きの凹凸プロファイルの割出しを表す図 石畳の凹凸プロファイルを表す図 轍が出来た道路表面を表す図 轍がある場合における、走行方向に対して横向きの凹凸プロファイルの例を表す図 濡れた路面の２Ｄカメラ撮影画像を表す図 乾燥している路面の２Ｄカメラ撮影画像を表す図

図１には、車両の走行方向（１）に対して横向き（ｙ）のライン（５）に沿った凹凸プロファイル（ｈ）のスキャンが概略的に示されている。道路表面は、右から左、或いは、左から右、或いは、双方の横方向（ｙ）に、予め定められる任意の密度のスキャン・ライン（５）に沿って監視される。高くなっている車線境界、例えば、縁石は、道路表面の左（３）右（４）を制限している。基本的に平らな道路表面の左前方部には、ポットホール（２）、或いは、類似した欠落部によって、部分的に陥没している。

該陥没は、図２に示されるごとく、走行方向（１）に対して横向き（ｙ）の道路表面の凹凸プロファイル（ｈ）において明確に確認できる。ここでは、横方向（ｙ）のライン（５）に沿った凹凸プロファイル（ｈ）が、例示されている。この凹凸プロファイル（ｈ）は、高くなっている車線境界（３，４）に由来する該二つのギャップの他に、図１のポットホール（２）に帰属できる点線で表される窪みを左側の領域に有している。

図３には、石畳（６）で構成されている車線が、示されている。前に横たわる石畳を認識した場合、足回りのコンポーネントを、これに対応して制御する、及び／或いは、走行音改善のための対策（アンチノイズ、或いは、タイヤ空気圧の調節）を実施することが可能である。

横方向（ｙ）への石畳（６）の凹凸プロファイル（ｈ）は、図４に例示されている。図３の他のスキャンライン（５）に沿った凹凸プロファイルも外観的には同様である。凹凸プロファイル（ｈ）における凹凸の典型的な幅と高さから、このような特徴的な凹凸プロファイルは、道路表面の状態としての石畳に帰属させることができる。この認識は、２Ｄカメラ画像のテクスチャー分析やパターン分析によって付加的にサポートすることができる（図３参照）。この分析によっても、道路表面を石畳であると認識できるため、３Ｄカメラデータによる凹凸プロファイルからの認識を確認できる。

図５では、走行方向（１）への平行な二本の轍（７，８）がある車線が、道路表面の右側部分に見られる。

同様に、図６の凹凸プロファイル（ｈ）でも、二か所の陥没（点線部分）が、道路表面の右側部分に認識できる。

図７では、２Ｄカメラ画像（単眼カメラのグレースケール画像）に、濡れた道路表面が見られる。濡れた道路表面の鏡面効果は、木（或いは、周囲の景色）が、道路表面に映ることによって、２Ｄ画像から認識可能である。その一方で、該鏡面効果は、ステレオ・カメラの視差画像内での大きめに誤認される間隔の原因ともなる。この誤認された間隔は、車線脇の周辺部の視差画像において認識された木への実際の間隔に対応している。即ち、これによって濡れた路面が前方に横たわっていることが認識でき、更に、摩擦係数μ＝０．４程度であると推定することもできる。

図８には、乾燥した道路表面の２Ｄカメラ画像が示されている。これは、一つには鏡面効果がないことによって認識でき、摩擦係数μ＝０．９程度であると推定することができる。

Claims (9)

1. ３Ｄカメラを用いて車両前方に横たわる周辺部の少なくとも一枚の画像を撮影する道路表面の状態を割り出すための方法であって、
   該３Ｄカメラの画像データから、複数のライン（５）に沿って、車両の走行方向（１）に対して横向き（ｙ）に道路表面の凹凸プロファイル（ｈ）を割出し、該割出された凹凸プロファイル（ｈ）から、道路表面の状態（２；６；７；８）が認識されることを特徴とする３Ｄカメラを用いた道路表面の状態を割り出すための方法。
2. 道路表面の状態（２；６；７；８）が、該割出された凹凸プロファイル（ｈ）と既知の状態の保存されている凹凸プロファイルとの比較によって認識されることを特徴とする請求項１に記載の方法。
3. 付加的に３Ｄカメラの少なくとも一つの単眼カメラの２Ｄ画像データが評価され、これが、道路表面の状態の認識のために用いられることを特徴とする請求項１あるいは２のいずれかに記載の方法。
4. 該２Ｄ画像データが、テクスチャー分析、或いは、パターン分析によって評価されることを特徴とする請求項３に記載の方法。
5. ２Ｄ画像データが、エッジ分析、及び／或いは、カラー分析によって評価されることを特徴とする請求項３あるいは４のいずれかに記載の方法。
6. 認識された道路表面の状態から、前方に横たわる道路表面の摩擦係数が推定されることを特徴とする先行請求項のうち何れか一項に記載の方法。
7. 少なくとも一つの推定された摩擦係数が、操舵介入、及び／或いは、ブレーキ介入のスタンバイに使用されることを特徴とする請求項６に記載の方法。
8. ３Ｄカメラがステレオ・カメラであることを特徴とする先行請求項のうち何れか一項に記載の方法。
9. ３Ｄカメラを包含する道路表面の状態を割出すための装置であって、該３Ｄカメラの画像データから、車両の走行方向（１）に対して横向き（ｙ）の複数のライン（５）に沿って道路表面の凹凸プロファイル（ｈ）を割出すための評価手段と、該割出された凹凸プロファイル（ｈ）から、道路表面の状態（２；６；７；８）を割出すための認識手段を特徴とする道路表面の状態を割出すための装置。

Images