JP2013079937A - 路面分析 - Google Patents

Abstract

【課題】車両が走行しようとする路面を分析し、車両の安全性および制御を向上させる。
【解決手段】システム１０は、シリコン網膜１１のようなＡＥＲカメラを用いる。このシリコン網膜１１を用いて、走行しようとする路面をモニタリングする。そして、処理ユニット１２が、そのシリコン網膜によって提供された信号に基づいて、路面を分析する。路面分析方法は、上記のシステム１０によって実行され、従来の分析方法を凌駕するものである。
【選択図】図４Ａ

Description

本発明は、車両が走行しようとする路面を分析するシステムおよび方法に関する。

本システムは、イベントベースの視認センサを備え、その路面を分析できる構成となっている。その分析に応じて、以下の動作のうち、少なくともいずれか一つを開始できる。（１）車両のアクチュエータ（ブレーキ、ステアリング、アクセル）の制御
（２）視覚的、感覚的（振動などを用いて）、および／または聴覚的な、その分析結果の報知
（３）モニタされた路面特性（イベント）の変化に基づいた、その車両のパラメータの調整

危険な路面（Hazardous surfaces）は、多くの交通事故を引き起こす要因となる。例えば、オーストラリアの道路交通局（ＲＴＡ）によれば、２００４年から２００８年にかけて、危険な路面が原因とされる交通事故は、全体の１８％にも上り、カーブでの交通事故に絞れば２３％にも上ると報告されている。ここで、危険な路面として、粗い砂利（loose gravel）、舗装路面の窪み（pothole）、油が付着した路面（oily surface）といったものが挙げられる。

特に、濡れた路面で起こった自動車事故の２０％および自動二輪の３４％は、トラクションロス（traction loss）を要因としたものである。世界中で集められた事故統計およびドライバの意見によれば、「グリップ」がなくなることは、車両の運転者、特に自動二輪およびスクータの運転者にとって、明らかに最も重要な問題である。すなわち、路面の状態（condition）は、「危険」のいくつかある主要な要因の一つである。

米国公開公報2008/0135731A1

Paquis, S.らによる「Road Surface Classification by Thresholding Using Morphological Pyramid」ICPR 2000

既存のトラクションコントロールシステム（ＴＣＳ）および自動ブレーキシステム（ＡＢＳ）を用いて、車両が通過しているあるいは通過してきた路面の特性を推定することが通常行なわれている。この路面推定処理に応答して、車両のリアクションの調整を行なうことができる。しかしながら、しばしば、トラクション分析の一環として行なわれる上記の路面推定処理は、車両のタイヤが、通過してきた路面との関係で、トラクションを一時的に失っていたか否かを判定するものである。特に自動二輪については、これは望ましいソリューションではない。このソリューションは、路面を通過した後になってやっと車両がリアクションを開始できるからである。

他の従来の路面分析システムおよび路面分析方法としては以下のものが挙げられる。

例えば、ダイレクト接触摩擦測定システム（http://www.asft.se参照）を用いて、牽引デバイスを路面に接触させて、滑走路の路面摩擦をモニタリングすることができる。このシステムは、車両に搭載することもできるし、牽引される別体の装置として構成することもできる。しかしながら、トラクションおよび／または路面を測定するために路面に直接接触するように設計されたシステムのため、消耗する部位を含んでおり、交換が必要であり、その車両の動きに影響し、容積も費用もより大きくなってしまう。さらに、車両前方にある走行すべき路面を観察することができない。また、このシステムは、路面のタイプまたは路面の構造について何の情報も提供しない。

また、水、雪、氷を検出するシステムも存在する（http://www.vaisala.com/en/products/surfacesensors/Pages/default.aspx参照）。これらは、典型的な静止物（路側帯）コマーシャルシステムである。この種のシステムは、交通管理の目的で、道路や橋に水、雪、または氷が存在しているか否かを検出するために用いられる。これらは、例えば、路面上に向けて赤外線ビームを照射し、選択された波長の反射光を検出するアクティブトランスミッションに基づいて動作する。反射光の大部分は、路上に存在する水または氷の表面層で反射される。受信した波長を適正に選択すれば、実際に、水と氷を区別して観察できる。しかしながら、このシステムは、乾いた状態および路面タイプに関する情報をもたらさない。

過去に提案されたシステムの中には、道路の構成を分析するシステムもある。そのようなシステムは、例えば、カメラとレーザセンサの組合せに基づいたものである。そのようなシステムは、車両の前方下側の路面を非接触で分析することができる。しかしながら、道路の構成を予測するように設計されたレーザアレイシステムは、高コストすぎて扱いにくい。

近年の車両では、加速度計のようなトラクションロス検知方法や、スリップ検出方法が一般に用いられている。これらは、一般に、ＴＣＳ／ＡＢＳシステムと組み合わされて用いられる(http://en.wikipedia.org/wiki/Anti-lock_braking_systemとhttp://en.wikipedia.org/wiki/Traction_control_systemとを参照)。

しかしながら、これらのシステムは、通常、車両がスリップすることを求めるため、本質的に最適とはいえない。異なる車輪の回転速度を検出するシステムも同様に最適とは言えない。なぜなら、そのようなシステムは、少なくとも一つの車輪がトラクションを保持している必要があるからであり、ブレーキング中に全ての車輪をＡＢＳで制御でき、加速中に全ての車輪をＴＣＳで制御できるわけではないからである。

ドカティ・モト・ＧＰレースシステム（Ducati/Ferrari race TCS）は、車輪のトラクションロスを回避しようとするシステムの一例である。しかしながら、このシステムは、予測したり予想したりするわけではなく、オンライン閉ループ測定システムでもなければ、詳細を提供するものでもない。

一方、ドライバの選択に応じて動力伝達、サスペンションなどを変更することにより、車両制御と車両安全性を高める操作軽減システムが、多数存在している。しかしながら、ドライバを煩わせないような方法で、路面のコンディションに応じた自動的、継続的な調整を行なうものはまずない。

結果として、例えば、マップデータベース構築のため、ＲＧＢカメラとコンピュータビジョン技術とを用いて、路面の状態を分類してきた（非特許文献１：Paquis, S.らによる, Road Surface Classification by Thresholding Using Morphological Pyramid, ICPR 2000参照）。そのようなモデルは、デジタルカメラを用いて撮像された路面の静止画像を用いている。しかしながら、たいてい、従来のカメラセンサのスピードに対して、路面状況が高速に変化するという、路面撮像に関する問題故に、オンボードのビジュアル路面分類方法は、ほとんど存在していない。

さらに、動いている車両のすぐ前方にある路面のトラクションおよび危険度を分析するオンボードビジュアルシステムは、知られていない。「昼夜問わず」および・または「乾湿問わず」動作可能なビジュアルシステムは存在していない。

本発明の第一の目的は、特に上述した課題について、従来技術を改良することにある。特に、本発明は、路面タイプ、タイヤ表面トラクション、および／または路面構成といった路面のプロパティを推定、予測するために、車両が走行しようとする路面を分析しようとするものである。

本発明は、走行しようとする路面のトラクションイベントおよび／または構造イベントを検出できるシステムおよび方法を提供し、そのように検出または予測された路面構造イベントの横断に自動的に対応し、トラクションロスを回避することを目的とする。トラクションロスは、タイヤと路面との間のトラクションが低下することであり、タイヤ表面の接触ポイントにおけるタイヤの速度が、最高車両加速度に対応する、タイヤ表面の接触ポイントにおける最高タイヤ速度を超えた場合に起こる。典型的には、トラクションロスは、タイヤと路面のプロパティおよびコンディションに依存するが、タイヤ表面接触ポイントでのタイヤ速度が、車両速度の１０〜１５％を越えた場合に起こる。

上記課題の解決手段として、走行しようとする路面に向けたセンサを含み、その路面の分析を行なうシステムを提供する。従来から路面の分析およびトラクションコントロールに用いられてきたセンサは、レーザ、ソナー、従来型のフレームベースカメラ、ジャイロスコープおよび加速度計、レーダー、音声センサなどであった。

一般的に、従来型のカメラは、車載路面分析センサとしては使われていなかった（例外は、非特許文献１：Paquis, S.らによる, Road Surface Classification by Thresholding Using Morphological Pyramid, ICPR 2000に開示されたものである。しかしこれは、動いている車両上ではなく、制御されたコンディション下で撮像された静止画像に基づいている）。

従来型のカメラを用いた場合、グローバルフレーム露出時間が比較的長いと、画像上で路面がぼけるという問題が起こる。一方、露出時間を短くすると、画像は、露光不足になり、ノイズが多くなる。さらに、路面の輝度コントラストが高い場合や、車両の動きと共に路面の照度が高速に変化する場合、例えば、暗いアスファルト上に白いレーンマーク（車線区分線）が存在する場合や、その路面の見え方が変わる場合に問題が起きる。このような環境では、従来型のカメラは、露出制御に測定時間および調整時間を必要とするため、路面イベントについて、露光不足の、あるいは、飽和した画像を生成してしまうかもしれない。また、測定時間および調整時間の間には、通過した路面イベントをうまく撮像できないかもしれないし、画像の飽和および露光不足のせいで利用可能なように撮像できないままその路面イベントを通過してしまうかもしれない。

したがって、本発明は、シリコン網膜（特許文献１：US 2008/0135731 A1参照）のようなイベントベースのカメラセンサを、新規なアルゴリズムと組み合わせて用いることにより、ビジュアル路面分析を有利に行なうことを提案する。今までは、イベントベースのビジョンセンサを路面分析に利用してはいないが、ここでは、路面分析の目的においては、効果的なセンサであると認識される。例えば、シリコン網膜は、従来型のカメラフレームフォーマットではなく、いわゆるアドレスイベント表現（ＡＥＲ）フォーマット(http://www.ini.uzh.ch/~tobi/papers/nipsCAVIAR2005.pdf)で表現されたデータを生成する。したがって、従来型のカメラフレームベースデータに競合しない、新しいアルゴリズムを用いた方がよく、あるいは用いなければならない。

したがって、本発明は、車両が走行しようとする路面を分析する新規な方法を提案するものである。この方法を用いることにより、車両の安全性および制御を向上させることができる。本発明は、この目的に有利な、シリコン網膜のようなＡＥＲカメラを用いる。ここでは提案された路面分析方法が、従来の分析方法をどれほど凌駕するものかを示す。

本発明は、車両が走行しようとする路面を分析する路面分析システムであって、走行路面をモニタリングする少なくとも一つのイベントベース視覚センサと、少なくとも一つのイベントベース視覚センサによって提供される信号に基づいて、モニタリングされた路面を分析する処理ユニットと、を備えた路面分析システムに関するものである。例えば、分析ステップにおいて、処理ユニットは、モニタリングした路面を分類する（すなわち、複数のクラスの路面のいずれにあたるか識別する）。イベントベース視覚センサに基づいてモニタリングした路面を決定することにより、（先にモニタリングした路面を分類分けしなくても）トラクション干渉を求めることができる。したがって、アナログシステム出力が有用である。例えば、アナログ出力を測定すると、イベントベース視覚センサによって供給された信号に基づいて、モニタリングされた路面の密度（density）を分析し、決定することができる。密度の決定については後述する。

イベントベース視覚センサは、（路面のプロパティの変化によってもたらされる）照度またはコントラストイベントを感知し、一時的なコーディングを維持するアドレスイベント表現（ＡＥＲ）フォーマットのイベント検出データを配信するカメラである。

このイベントベース視覚センサは、上述の目的にとって有用である。なぜなら、従来型のフレームベースカメラセンサとは全く異なる方法で、データを取得して出力するからである。固定のフレームレートで全体画像を無駄に送信するのではなく、シーンの移り変わりに起因する、局所的ピクセルレベルの変化のみを、その変化が起きたタイミングで送信する。その結果、マイクロ秒単位でイベントのストリームが発生する。その速さは、一秒間に何千フレームも処理する従来型のハイスピード視覚センサと同等またはそれよりも速い。電力、データ容量、および処理能力についても、ドラスティックに低減できる。局所的に処理するため、センサのダイナミックレンジは、複数桁のオーダーで増加する。

イベントベース視覚センサの一例は、上述したシリコン網膜である。シリコン網膜は、高いダイナミックレンジ（120dB）を有し、すなわち暗い場所から明るい場所まで対応できるため、特に、車載の路面分析に適している。このセンサは、飽和や露光不足のない、はっきりしたコントラストの変化を記録できるため、明るい太陽光の中でも、暗い夜中でも、使用可能である。本発明のシステム用にシリコン網膜を用いる利点としては、消費電力が少ないこと（２３ｍＷほど）、遅延が最小（１５μｓ）であること、時間分解能がマイクロ秒であること、つまり、高速振動があっても画像ぶれをなくすことが可能であり、帯域幅が小さく、コントラストの変化イベントのみがデータ送信のトリガーとなる。このシリコン網膜は、イベントの連続的なストリームを提供する。ここで、その時刻、イベントがトリガーになった輝度の変化の方向（ポジティブまたはネガティブ）、およびカメラ座標におけるそのイベントのｘ座標およびｙ座標が記録される。これは、同時フレームとして画像を感知し記録する従来型のデジタルカメラ（すなわちＲＧＢ、ＹＵＶカメラ）からのパラダイムシフトである。

シリコン網膜の画素動作を図１Ａ，図１Ｂに示す。これは、米国公開公報2008/0135731A1（特許文献１）に開示されている。ＡＥＲ画素は、時間的コントラストに対して（輝度の変化と比較して）、よりセンシティブなゲインコントロールメカニズムである。まず、複数の光レセプタが対数的に輝度に反応する。次に、差動増幅器（differencing amplifier）がＤＣミスマッチを分離し、輝度の違いのみを増幅する。２つのコンパレータが、その増幅器の出力をモニタリングして、輝度の十分な増加（ＯＮ状態および発光ピクセル座標）および低減（ＯＦＦ状態および発光ピクセル座標）に応答する。その差動増幅器は、イベント終了ごとにリセットされる。その差動増幅器のゲインは、コンパレータのミスマッチの効果を低減する。

シリコン網膜の代替手段としては、非同期時間ベースイメージセンサ（ＡＴＩＳ）カメラ(http://www.ait.ac.at)あるいは、デュアルラインセンサ（ＤＬＳ）カメラ(http://www.ait.ac.at/uploads/media/Datasheet_IVS_DE_V4.1_Print.pdf)をイベントベース視覚センサとして用いることができる。

処理ユニットは、アクティビティマップを生成するため、少なくとも一つのイベントベース視覚センサによって提供された信号を統合し、複数のスペクトルを得るため、アクティビティマップ上で、定期的に複素フーリエ変換を実行し、各スペクトルを基準角度に向け、方向付けを行なった複数のスペクトルを積算して、車両によって走行しようとする路面のスペクトルモデルを取得する。

アクティビティマップとは、イベントベース視覚センサによってモニタリングされた、路面の複数のイベント（路面プロパティの変化）を表わしたものである。このアクティビティは、スタンダードで効果的な画像処理技術を利用して、イベントベース視覚センサの信号を統合してアクティビティ「画像」を生成することができる。この方法では、ライブデモシステムのためのリアルタイムの出力を容易に取得できる。しかしながら、イベントベース視覚センサのデータストリームを統合してアクティビティマップに生成することは、後続の処理に対する唯一の方法ではない。例えばＬＳＭ、リカレントニューラルネットワークまたは他の非画像ベース方法により、イベントベース視覚センサからのデータストリームを非同期に用いてもよい。

処理ユニットは、取得したスペクトルモデルを、複数の所定のスペクトルモデルに関連付けることにより、モニタリングされた路面を分析することが好適である。この処理ユニットは、この方法で、特に、シリコン網膜または他の路面分析用イベントベース視覚センサを用いるように開発されてきたアルゴリズムを実行する。このアルゴリズムは、高速に、効果的に、かつ高い信頼性で結果をもたらす。つまり、高い精度で路面プロパティを決定できる。

上述のスペクトル分析を用いて走行しようとする路面を決定することにより、イベントベース視覚センサの信号に基づいて、モニタリングしている路面を効果的に決定することができる。しかしながら、他のパターン認識方法や学習方法をイベントベース視覚センサと組み合わせて用いてもよい。

本システムを、車両のパラメータを制御および／または調整するための制御調整ユニットに接続し、または、そのユニットと一体として用いることも好適である。本システムは、車両が走行しようとする路面についてのオンライン閉ループ分析を、上記制御調整ユニットに提供することもできる。
上記制御調整ユニットは、車両を制御するため、または、車両パラメータを調整するために、システムの結果を利用することも好適である。

車両のパラメータは、エンジン動作、エンジントルク、エンジンイグニションタイミング、エンジン回転数、エンジンシリンダ動作、車両速度、車両軌道、ステアリング角、照明、ロック、クルーズコントロール、サスペンションダンピング、サスペンションリバウンド、サスペンションプレロード、車高、ギアリング、ギアボックス、トランスミッション、タイヤ、タイヤ空気圧、クラッチ、シートベルト、オーディオ、トラクションコントロール、ローンチコントロール、ブレーキ、自動ブレーキシステムおよび／またはエアバッグに関するパラメータのいかなる組合せをも含むことが好適である。

処理ユニットは、イベントベース視覚センサを制御して、車両の前方、所定の距離だけ離れた路面をモニタリングできる。この距離は、十分に大きく、分析対象としての路面を車両が通過するより前あるいはそれ以前にパラメータ調整を行なうことができる。従って本発明は、有利なタイミングを有する。その路面を通過する前に路面イベント（すなわち調整）を実行することができる。ここで、モニタリングされる路面までの距離を「ルックアヘッド」と証する。この距離は、０．５〜２ｍであることが好ましく、１〜１．５ｍであることがより好ましい。

路面の分析結果として、路面タイプ、バリエーション、グラデーション、不規則性、液体、氷、雪、路面トラクション、グリップおよび／または路面摩擦および／または、くぼみ、石、障害物、でこぼこ、轍、隆起、うねりおよび／または高度変化といった、路面構造を含むことが好適である。

本発明はさらに、路面構造ごと、走行しているあるいは走行しようとするトラクションイベントまたはトラクション変化ごとに、車両速度、コーナリング角度、車両重量、ドライバ入力などといった車両パラメータを変更してもよい。例えば、でこぼこのような構造イベントを予測した場合には、サスペンションプレロードを自動的に減らして、車輪がそのでこぼこによって上方に押圧される瞬間の衝撃を即座に吸収することができる。そして、サスペンションプレロードを即座に増加させれば、そのでこぼこのピークを過ぎた後で、即座に車輪は高速に路面に押しつけることができる。

この方法で、タイヤ表面の接触は、最大限に維持され、車両の安全性および制御性を構造させることができる。これとは別に、あるいはこれと同時に、オペレータに対して、路面イベントを走行しそうであることの警告を与えて、オペレータに、主導で予防処置を行なわせてもよい。例えば、ドライバに対して、ゆるい砂利が道路上に存在するため、速度が速すぎるとトラクションロスが発生しうることを警告してもよい。

本システムは、車両の前方において、走行方向から９０度以内の路面を分析することが好適である。これにより、広い路面領域をモニタリングでき、より多くの路面イベントを検出できる。

本システムは、路面の分析に用いる追加的な情報を処理ユニットに提供するため、ＧＰＳ、加速度計、ジャイロスコープ、カメラ、赤外線センサ、ソナー、レーザ、温度センサ、湿度センサおよび／またはユーザ入力デバイスを含むことが好適である。イベントベース視覚センサに加えて他のセンサを用いることにより、より正確かつ高い信頼性で結果を得ることができる。

イベントベース視覚センサが、少なくとも一つの偏光フィルタおよび／または少なくとも一つの赤外線フィルタを備えることも好適である。偏光フィルタは、特に、水、雪、氷、オイル、または他の反射のある液体が存在する路面を分析するにあたって有効である。散乱光ではなく偏光のみを検出できる。

イベントベース視覚センサによってモニタリングされた路面の照度を変化させることも好適である。照明を制御することにより、イベントベース視覚センサの結果を向上させることができる。

処理ユニットは、特に、車両が実際に接触するであろう路面の一部について分析を行なうことが好適である。したがって、タイヤの軌道に応じた調整を行なうことができる。

車両のオペレータに対して分析の結果としての分析情報を提供するユニットをさらに備えることも好適である。この場合、車両のオペレータは、パラメータを主導で調整することができる。いずれにせよ、調整の必要性を感じることができる。

本システムが、モータバイク上に設置され、スリッピーな路面を検出し、スリップが起こらないように車両パラメータを調整することも好適である。スリップは、通常、タイヤ表面の接触ポイントでのタイヤ速度が路面に対する車両速度と異なる場合に起こる。タイヤ表面のスリップは常に起こっているが、普通は無視してよい程度である。

本システムを自動車の４つの車輪のそれぞれに一つずつ設置し、分析された路面に合わせて車両パラメータを適正に調整することも好適である。ここで、「適正に」とは、スリップなく、最大トルクで車両を操作するための品質基準として理解できる。

本発明は、また、車両が走行しようとする路面を分析する路面分析方法であって、イベントベース信号を生成するために走行路面をモニタリングするステップと、イベントベース信号に基づいて、モニタリングされた路面を分析するステップと、を含む。

本発明に係る方法は、さらに、アクティビティマップを生成するために、イベントベース信号を統合するステップと、複数のスペクトルを得るために、アクティビティマップ上で、定期的に複素フーリエ変換を実行するステップと、各スペクトルを基準角度に向けるステップと、車両２０によって走行しようとする路面のスペクトルモデルを取得するために、方向付けを行なった複数のスペクトルを積算するステップと、を含むことが好適である。

上述したシステムの変形に応じて、上記方法が他のステップを含むように拡張してもよい。上記方法は、上記システムについて示した効果と同じ効果を奏することができる。

ＡＦＲピクセルセルを示す図（US 2008/0135731 A1からの図）である。 ＡＦＲピクセルセルのスパイキング出力を示す図（US 2008/0135731 A1からの図）である。 本発明をテストするために用いる実験的な車両を示す図である。 タールマック（アスファルト）、ブロック、および砂利の路面について処理を行なった結果としてのデータの一例を示す図である。 走行しようとする路面を分析するために用いられるシステムのブロック図である。 トラクション推論モジュールで行なわれる処理フローの一例を示す図である。 テストコースと、走行した路面のタイプおよび短時間（１００ｍｓ）のシリコン網膜データを示すアクティビティマップの例を表わした図である。 分析結果を示す図である。 分析結果と密度の一例を示す図である。 分析結果を示す図である。 密度測定につての分析のための結果サマリームービーからのスナップショット出力の一例を示す図である。 ２つ以上のシリコン網膜カメラを備え、構造を分析するシステムのブロック図である。 分析結果をフィルタリングするシステムを示す図（Wikipediaからの絵を含む）である。

図２は、本発明に係るシステム１０を車両に実装した状態を示す図である。５０ｍｍのレンズを備えたシリコン網膜１１は、車両２０の前方に設置される。ここでは、オートバイのプラットフォームを使っているが、（一般的なセンサ内の）カメラ１１は、いかなる他の車両タイプに対しても設置できる。車両２０を様々な路面上で走行させると、シリコン網膜センサ１１が、走行しようとする路面Ｓをモニタリングする。シリコン網膜は、路面のプロパティなどの変化を、ＡＥＲフォーマットの信号を有するイベントおよび応答として検出する。この信号は、好適には車両に組み込まれた処理ユニット１２によって処理される。しかしながら、この処理ユニット１２をカメラ１１内に設けてもよい。その場合、モニタリングされた路面Ｓは、例えば１０ｃｍ×１０ｃｍの大きさのパッチであり、オートバイの前輪から、走行方向に１〜１．５ｍ離れている。しかしながら、このパッチは、他のサイズでもよい。システム１０は、また、ワイドアングルレンズを有するカメラ内にセンサ１１を備えてもよく、その場合、イベントベース視覚センサ１１は、車両２０の前方において、走行方向から９０度以内の路面を分析することができる。

ＡＥＲフォーマットは、アドレス列で順序付けられたデータの表現方式である。各アドレスは、イベントの発生に関連する。ＡＥＲは、もともと、ニューロンが通信するスパイク列を概算するために導入されたものである。イメージングにおいては、従来型のフレームベースの表現は、同じ時刻での（実際には、露光期間で平均化された）空間的な関係を維持する。ＡＥＲフォーマットは、画素の動作を個別にかつ非同期に記録することにより、情報取得の時間的連続性を維持するものである。

スペクトル技術を用いて、車両２０が走行している路面を分析することができる。すなわち、モニタリングされた路面を分類しおよび／または、モニタリングされた路面の密度（density）を決定することができる。最適設定では、車両の前方に１．５ｍ離れた（ルックアヘッド）路面Ｓを分析する。本発明用に開発された分析アルゴリズムは、以下の２つのメインステップを含む。（１）（システム設定のための）モデルトレーニング。（２）（車両およびシステムの動作中の）路面クエリ。このアルゴリズムは、処理ユニット１２によって実行される。

モデルトレーニングのステップとして、後に分析しようとする路面Ｓのクラスごとに、シリコン網膜データを記録する。この目的のため、シリコン網膜１１によって取得されたＡＥＲイベントは、処理ユニット１２によって統合され、崩壊アクティビティマップを生成する（図３の「アクティビティ」列参照）。このアクティビティマップは、アクティビティを表現したもの、すなわち、例えば、モニタリングされた路面パッチＳにおいて、シリコン網膜センサ１１によってキャプチャされた路面プロパティの変化によって引き起こされるイベントを表現したものである。処理ユニット１２は、通常の間隔で（好ましくは２〜３マイクロ秒ごとに）アクティビティマップの複素２次元フーリエ変換を行なう。この計算は、ポジティブイベントを実数成分に用いてネガティブイベントを虚数成分に用いることによって実現される（図３の「スペクトル）列参照）。取得したスペクトルに対しては、続けて、ハフ変換を用いて決定された基準角への方向付け（reorient）が施される（図３の「方向付けられたスペクトル」の列参照）。すなわち、各スペクトルにおいて、支配的なラインを決定し、各スペクトルをそのラインが水平になるまで回転させる。これにより、車両の向きにかかわらず、複数の方向付けられたスペクトルを連続的に統合すること（方向付けられたスペクトルモデルへの積算）が可能となる。このような回転処理は、処理ユニット１２が、水平アライメント処理または水平方向に対してより小さな角度で回転する処理（この処理により、方向付けの角度が、現実に、逐次反復の間にゆっくり変化する場合に、方向付けが不正確になってしまうことを防止する）として実行する。既知の路面タイプにおける１〜２メートルの間で方向付けられたスペクトルモデルの積算後、スペクトルモデルは、処理ユニット１２によって、コンプリートされる（図３の「スペクトルモデル」列参照）。

上記処理は、繰り返され、分析しようとするそれぞれの路面タイプについて、個々のモデルを訓練（train）する。例えば、砂、小砂利、粗砂利、葉、ブロック、大砂利、およびアスファルトのそれぞれについてスペクトルモデルを構築できる。スペクトルモデルは、本発明のシステム１０に記憶される。したがって、例えば、処理ユニット１２にメモリを組み込んでもよいし、外部メモリ（不図示）に接続してもよい。

路面クエリステップにおいて、すなわち、車両２０が走行しようとする未知の路面のタイプを決定する場合、シリコン網膜センサ１１が、再び路面パッチＳをモニタリングする。処理ユニット１２は、取得されたシリコン網膜イベントを、再び、連続的に統合し、モニタリングされた路面を示す崩壊（decaying）アクティビティマップを生成する。そしてもう一度、モデル訓練ステップとして上述したように、アクティビティマップに対して複素フーリエ変換を周期的に（すなわち、２〜３マイクロ秒ごとに）施し、方向付けを行ない、最後に、処理ユニット１２によって積算する。方向付けられたスペクトルの積算は、（スライディングウィンドウと称される）短い時間に実行される。そのような短い時間に積算された、方向付けられたスペクトルは、全て、メモリに記憶された既知の路面タイプスペクトルモデルに繰り返し関連付けられる。

本発明は、正規相関関数（ＮＣＣ）を利用して、スペクトルの相関をとることを提案する。この場合、最も強い応答を奏する相関から、路面のカテゴリーを推定できる。この推定処理は処理ユニット１２が行なう。この推定処理は、同時に複数の結果を選択することによっても実行できるし、もっと複雑な手段によっても実行できる。例えば、ＷＴＡ（winner-take-all）ネットワークや、ローパスフィルタリングといった時間的スムージングや、他のフィルタリングまたはセレクションの形式によっても実行できる。

図４Ａ、図４Ｂは、上述したアプローチを表わすフローチャートである。ここには、分析結果を利用して、車両を制御できること、または車両パラメータを調整できることが示されている（車両リアクションの記載された最も右側のボックス参照のこと、これは、制御および／または調整ユニット２１、２２を表わしている）。図４Ａは、走行しようとする路面の分類に用いられるシステムを示している。シリコン網膜１１をこのアプリケーションに利用することは、新規であり、データをアクティビティマップに統合するといった処理アルゴリズムもまた新規である。処理ユニット１２は、訓練または学習（訓練ボックス参照）を行ない、http://www.asft.se/.に記載されたような方法を用いてグランドトルース推定から利益を得てもよい。図４Ｂは、「トラクション推論」モジュール内で行なわれる処理の一例を示す図である。まず、フーリエ変換がアクティビティマップについて行なわれ、次に、ＮＣＣが行なわれ、最後にベストマッチの選択が行なわれる。

本発明のシステム１０をテストするためには、図５に示すようなテストシナリオが用いられる。このテストシナリオに存在する路面タイプに基づいて、３つの路面カテゴリー、アスファルト、ブロック、および砂利に対して、上述のようにスペクトルモデルが構築される。グランドトルースデータは、マニュアルで追加的に構築され、アルゴリズムの出力と比較される。図６は、未加工の分析でのデータ、ローパスフィルタ（ＬＰ）分析後のデータ、そのＬＰ分析のウィニングマージンカテゴリ、および、手入力で構築されたグランドトルース（右下図のバー参照）に対してこのアルゴリズムの正確性を評価するために用いられた出力の代表的なサンプル（拡大されている）を示している。このサンプルは、そのチャレンジングな性質故に選択されたものであり、３つ全ての路面カテゴリー（Ａ：アスファルト、Ｂ：ブロック、Ｃ：砂利、グランドトルースでの「黒い」カテゴリーは、データ喪失を示す）を含む。このアルゴリズムにより、９１．４％の精度を実現できた。路面のカテゴリータイプは、このサンプルでは変化しないが、このアルゴリズムのパフォーマンスは、タスクを単純化し、ローパスフィルタを用いてノイズ低減すれば１００％に近づく。

以上、どのように路面を分析できるかについて説明してきた。本発明のシステムを用いれば、システム路面密度推定をも行なうことができる。路面密度推定は、上述した路面分析方法の拡張形である。一旦、複素スペクトルを上述のように取得できれば、アクティビティマップにおけるアクティビティの量が、分析された路面の密度を示す指標となる。アクティビティマップの全ての値を単純に積分（積算）することにより、相対密度の推定を行なうことができる。図７は、拡張されたアルゴリズムに対して、それぞれ異なる路面密度についてセットアップされたテストの出力例を示す図である。時速４０キロを越えるスピードの車両について４つの路面ハザードタイプ、アスファルト上の砂、アスファルト上の小砂利、アスファルト上の粗砂利、およびアスファルト上の葉について分析している。図７の左図では、アスファルト上の砂についての結果を示している。図７の右図では、アスファルト上の葉についての結果を示している。上方の図面は、分析値を示し、下方の図は、相対テクスチャ密度を示している。

分類パフォーマンスのように分析パフォーマンスを表わすため、そのような分類は強く密度から独立している。全ての４つのモデルの応答は、４つのテスト入力に対して決定された。図８は、テスト車両２０が、それぞれのハザードタイプを走行した場合に、正しいフィルタが最強応答を引き出すことを示している。例えば、図８の左上図では、車両２０が「大粒砂利（splitt）(アスファルト上の粗砂利)」ハザード上を走行する場合に、その大粒砂利のスペクトルモデルが、正確に、最強フィルタ応答（赤色の線）を導き出している。大粒砂利とは物理的によく似た見た目であるにもかかわらず、「中粒砂利（medium splitt）（アスファルト上の小砂利）」フィルタが、そのハザードタイプ上を走行中に正確に最強応答（右上の緑色の線）を導き出している。全４つの路面ハザード分類について（つまり、アスファルト上に砂がある場合および、アスファルト上に葉がある場合も）、同じ傾向が現われている。図９は、この実験で得られたリアルタイム出力からの分類および密度を表わすスナップショットを示している。

図９において、車両２０は、上述した４つの状況のそれぞれの上を、左から右に走行する。シリコン網膜出力が、真ん中の灰色の正方形に示されている（シリコン網膜アクティビティレスポンスストリーム）。このアルゴリズムの出力は、右側に示されており、現在の（分析位置での）車両の前方の路面において、大粒砂利（splitt）フィルタから最も高い（フィルタレスポンスバーの幅に表われている）応答出力が得られている。そして、この分析位置での大粒砂利は、中程度の密度である（カラーコーディングに関する色によって示されている）。

また、本発明のシステムを用いれば、路面構造を分析することもできる。例えば、従来型のステレオカメラで行なわれていたように、複数の背景あるいは、物体が、特定の背景構造に対応する情報を提供できる。例えば、深度マップは、一般的に、従来型のＣＣＤ／ＣＭＯＳカメラ画像を一対用いて算出できる。同様に、アルゴリズムは異なるが、２つ以上のシリコン網膜１１ａ、１１ｂを用いれば、容易に構造分析を行なうことができる。上述のように今まではステレオセンサフォーマットでシリコン網膜１１を用いてきたが、走行中の路面分析には使われていなかった。

カメラストリーム内で同時に起こった左右のイベントの水平オフセット（不等）を分析し、マルコフランダムフィールド（ＭＲＦ：Markov Random Field）フレームワークを用いることにより、構造を取得するステレオシリコン網膜方法は、本発明者によって実現されてきた。

図１０は、主として２つ以上のシリコン網膜カメラ１１ａ、１１ｂを組み合わせることにより、車両制御（車両リアクション）のため、路面構造を分析するシステム１０‘を示した図である。各シリコン網膜カメラ１１ａ、１１ｂの各イベントストリームのアクティビティマップを取得して、同期させてもよい。「構造類推」処理は、オンラインおよび／またはオフライン訓練を含んでもよい。

さらに、偏光を用いて、液体、氷または雪を有する路面を分析してもよい。反射光が偏光する程度は、道路表面の材質に依存し、さらに、光が路面に入る角度にも依存する（図１１）。アスファルトの道路、路面上の雪、水およびオイルは、反射面に対して平行な方向に大きく集中して振動する光を反射する（偏光）。シリコン網膜カメラ１１とともに偏光レンズを用いれば、偏光反射を検出して、走行しようとする路面のプロパティを推定することができる。偏光技術は、一般に、従来型のカメラと共に用いられてきたが、シリコン網膜とＡＥＲカメラとの組み合わせたものは今までなかった。偏光レンズをシリコン網膜１１と共に用いれば、この方法による液体分析を容易に行なうことが可能となる。

図１１は、上述の方法をどのように実現するかを示すフローチャートである。図１１は、フィルタ分析（すなわち偏光）を実行するためのシステム１０”を表わしている。システム１０”は、１つ、２つ（図示）、またはそれ以上のシリコン網膜カメラ１１ａ、１１ｂを組み合わせたものである。例えば、車両リアクション（ここではトラクションコントロール）のために用いられる液体、氷または雪についての分析に対して、偏光を透過させる向きに第１フィルタ１３を設置し、偏光をブロックする向きに第２フィルタ１３を設置する。各シリコン網膜１１ａ、１１ｂの各イベントストリームのアクティビティマップを同期させてもよい。例えばＩＲフィルタ１４またはズームレンズなどのような、他のフィルタおよび／またはレンズを単独または組合せて用いてもよい。これらのコンセプトは、従来は、液体／雪分析に適用してきたが、シリコン網膜を用いたものはなかった。本願でシリコン網膜１１を用いることは新規であり、データを上述のように積算してアクティビティマップを生成する処理アルゴリズムも必然的に新規なものである。

Claims (22)

1. 車両が走行しようとする路面を分析する路面分析システムであって、
   走行路面をモニタリングする少なくとも一つのイベントベース視覚センサと、
   前記少なくとも一つのイベントベース視覚センサによって提供される信号に基づいて、モニタリングされた路面を分析する処理ユニットと、
   を備えた、路面分析システム。
2. 前記処理ユニットは、
   アクティビティマップを生成するために、前記少なくとも一つのイベントベース視覚センサによって提供された前記信号を統合し、
   複数のスペクトルを得るために、前記アクティビティマップ上で、定期的に複素フーリエ変換を実行し、
   各スペクトルを基準角度に向け、
   車両によって走行しようとする路面のスペクトルモデルを取得するために、方向付けを行なった複数のスペクトルを積算する、請求項１に記載の路面分析システム。
3. 前記処理ユニットは、取得した前記スペクトルモデルを、複数の所定のスペクトルモデルに関連付けることにより、モニタリングされた路面を分析する、請求項２に記載の路面分析システム。
4. 前記処理ユニットは、ＬＳＭ（Liquid State Machine）、リカレントニューラルネットワークまたは他の非画像ベース技術を介して、少なくとも一つのイベントベース視覚センサから提供された前記信号を非同期に用いる、請求項１に記載の路面分析システム。
5. 車両のパラメータを制御および／または調整するための制御調整ユニットに接続され、または、前記制御調整ユニットと合体し、
   車両が走行しようとする前記路面についてのオンライン閉ループ分析を、前記制御調整ユニットに提供する、請求項１乃至４のいずれか１項に記載の路面分析システム。
6. 前記制御調整ユニットは、前記車両を制御するため、または、前記車両のパラメータを調整するために、前記路面分析システムの結果を利用する、請求項５に記載の路面分析システム。
7. 前記車両のパラメータは、
   エンジン動作、エンジントルク、エンジンイグニションタイミング、エンジン回転数、エンジンシリンダ動作、車両速度、車両軌道、ステアリング角、照明、ロック、クルーズコントロール、サスペンションダンピング、サスペンションリバウンド、サスペンションプレロード、車高、ギアリング、ギアボックス、トランスミッション、タイヤ、タイヤ空気圧、クラッチ、シートベルト、オーディオ、トラクションコントロール、ローンチコントロール、ブレーキ、自動ブレーキシステムおよび／またはエアバッグに関するパラメータのいかなる組合せをも含む、請求項６に記載の路面分析システム。
8. 前記処理ユニットは、前記イベントベース視覚センサを制御して、車両の前方に距離０．５〜２ｍ、または１〜１．５ｍだけ離れた路面をモニタリングし、この距離は、分析された路面を車両が横切る瞬間よりも前またはその瞬間以前に、パラメータを調整できるように十分に大きな距離である、請求項５、６または７に記載の路面分析システム。
9. 前記路面の分析結果として、路面タイプ、バリエーション、グラデーション、不規則性、液体、氷、雪、表面トラクション、グリップおよび／または路面摩擦、および／または、くぼみ、石、障害物、でこぼこ、轍、隆起、うねりおよび／または高度変化といった、路面構造を含む、請求項１乃至８のいずれか１項に記載の路面分析システム。
10. 前記車両の前方において、走行方向から９０度以内の路面を分析する、請求項１乃至９のいずれか１項に記載の路面分析システム。
11. 路面の分析に用いる追加的な情報を前記処理ユニットに提供するため、ＧＰＳ、加速度計、ジャイロスコープ、カメラ、赤外線センサ、ソナー、レーザ、温度センサ、湿度センサおよび／またはユーザ入力デバイスを含む、請求項１乃至１０のいずれか１項に記載の路面分析システム。
12. 前記イベントベース視覚センサは、少なくとも一つの偏光フィルタおよび／または少なくとも一つの赤外線フィルタを備える、請求項１乃至１１のいずれか１項に記載の路面分析システム。
13. イベントベース視覚センサによってモニタリングされた路面の照度を変化させる、請求項１乃至１２のいずれか１項に記載の路面分析システム。
14. 前記処理ユニットは、特に、前記車両が実際に接触するであろう路面の一部について分析を実行する、請求項１乃至１３のいずれか１項に記載の路面分析システム。
15. 車両のオペレータに対して前記分析の結果としての分析情報を提供するユニットをさらに備えた、請求項１乃至１４のいずれか１項に記載の路面分析システム。
16. モータバイク上に設置され、スリッピーな路面を検出し、スリップが起こらないように車両パラメータを調整する、請求項１乃至１５のいずれか１項に記載の路面分析システム。
17. 自動車の４つの車輪のそれぞれに一つずつ設置され、分析された路面に合わせて車両パラメータを調整する、請求項１乃至１６のいずれか１項に記載の路面分析システム。
18. 自動車およびサドル乗車車両を含む車両であって、請求項１乃至１７のいずれか１項に記載の路面分析システムを備えた、車両。
19. 車両２０が走行しようとする路面を分析する路面分析方法であって、
    イベントベース信号を生成するために走行路面をモニタリングするステップと、
    前記イベントベース信号に基づいて、モニタリングされた路面を分析する分析ステップと、
    を含む、路面分析方法。
20. アクティビティマップを生成するために、前記イベントベース信号を統合するステップと、
    複数のスペクトルを得るために、前記アクティビティマップ上で、定期的に複素フーリエ変換を実行するステップと、
    各スペクトルを基準角度に向けるステップと、
    車両によって走行しようとする路面のスペクトルモデルを取得するために、方向付けを行なった複数のスペクトルを積算するステップと、
    を含む、請求項１９に記載の路面分析方法。
21. ブレーキ、ステアリング、アクセルの少なくともいずれかを含む前記車両のアクチュエータを制御するステップと、
    前記分析の結果を、視覚的、感覚的、および／または聴覚的に報知するステップと、
    エアバッグまたは自動ブレーキシステムを含む安全装置を初期化するパラメータを調整するステップと、
    の３つのステップのうち、一つ以上のステップを前記分析ステップでの分析結果に応じて開始する、請求項１９または２０に記載の路面分析方法。
22. 車両のコンピュータデバイス上で実行され、請求項１９乃至２１のいずれか１項に記載の路面分析方法を実現するコンピュータソフトウェアプログラム。

Images