JP2019021317A - 運転者支援システム及びガードレール検知方法 - Google Patents

Abstract

【課題】ガードレールを検知する方法、及びガードレール構造を検知するための訓練機械学習アルゴリズムを提供する。【解決手段】ガードレールパターンを生成する方法は、まず、カメラで撮像した画像フレームがガードレールの、非垂直部ＮＶＰと垂直部ＶＰとを有する少なくとも２つのガードレール構造を切り抜きボックスを用いて画像フレーム内でトラッキングし、つぎに、トラッキングされたガードレール構造のうちの１つの角度勾配情報を抽出するために切り抜きボックスの情報を処理し、切り抜きボックスの成分の角度に関する情報のクラスタを生成して角度勾配情報をクラスタリングし、切り抜きボックスの非垂直部ＮＶＰに関する情報を抽出する処理をトラッキングされたガードレール構造の全てを経るまで繰り返し、最後に、トラッキングされたガードレール構造のＮＶＰを通して曲線をフィッティングする。【選択図】図９

Description

本発明は、運転者支援システム及びガードレール検知方法に関する。

路側のガードレールを検知することは、高度自動運転にとって決定的に重要である。これら構造（即ちガードレール）は、世界の様々な国において沿道に見られる。路側にそれらが存在することで、車両が側方に移動するのに利用可能なフリースペースが物理的に制限される。従って、ガードレールを検知することは非常に重要である。

この課題（即ちガードレール検知）は、カメラ（例えば単眼カメラ）を用いることで解決され得る。

本発明は、ガードレールパターンを生成するコンピュータ実装方法において：
ａ．カメラを用いて画像フレームを取り込むステップと；
ｂ．画像フレームがガードレールの、非垂直部ＮＶＰと垂直部ＶＰとを有する少なくとも２つのガードレール構造を含むと決定し、切り抜きボックスを用いて画像フレーム内の前記ガードレール構造をトラッキングするステップと；
ｃ．トラッキングされた前記ガードレール構造のうちの１つの角度勾配情報を抽出するために切り抜きボックスの情報を処理するステップと；
ｄ．切り抜きボックスの成分の角度に関する情報のクラスタを生成するクラスタリング方法を用いて勾配情報をクラスタリングするステップと；
ｅ．切り抜きボックスの非垂直部ＮＶＰに関する情報を抽出するステップと；
ｆ．トラッキングされたガードレール構造の全てがステップｃ〜ｅを経るまでステップｃ〜ｅを繰り返すステップと；
ｇ．トラッキングされたガードレール構造のＮＶＰを通して曲線をフィッティングするステップとを備える方法に関する。

角度勾配情報は、少なくとも２つのガードレール構造の、ガードレールの単一の構造の垂直部及び非垂直部の勾配線と基準に対する非垂直部の角度勾配に関する情報とを提供する角度勾配記述子、好ましくは勾配方向ヒストグラムＨｏＧ記述子を備えることによって抽出されてよい。

角度勾配情報は、並列コンピューティングに対するビュー指向、分散、クラスタベースのアプローチＶＯＤＣＡを実行することで抽出されてよい。

方法は、ＨｏＧ特徴を抽出するためのＶＯＤＣＡ成分をコンピューティングハードウェアの負荷を低減するために再び用いることができ、ＶＯＤＣＡフレームワークからの分類成分を再び用いることができるという有利な点を有している。

ステップｇ）は、ガードレールを示す連続曲線を得るために、検知された前記ガードレール構造を通して曲線を補間することを含んでよい。

曲線は、前記少なくとも２つのガードレール構造のＮＶＰの勾配線の交点を通る多項式曲線であってよい。

上記方法のステップｄ．は各非垂直部における平均値μと、対応する拡散σとを提供してよく、拡散は曲線のフィッティングを最適化するために用いられる。
上記方法のステップｄ．は偽陽性のガード構造を除去することを更に含んでよい。

画像フレームが道路の別々の側における２つのガードレール構造を含むことが決定されてよい。このように、２つの曲線が生成されてよい。

従って、方法は、フレーム内に複数のガードレールを検知可能であるという特に有利な点を有する。検知されたガードレール構造のトラッキングは、あらゆる適切なトラッキングアルゴリズム又は方法、特にカルマンフィルタを用いて実行される。

画像フレームが道路の別々の側における２つのガードレール構造を含むことを決定するために、ガードレール構造の角度情報を検討してよい。
上記方法は、運転者がガードレールに接近しているとき、運転者を警告するステップを更に備えてよい。

従って、方法は、ガードレールが常に道路境界に沿っている又はその逆であることから、開示された方法が道路境界を（正確に）決定するために車線逸脱システム及び／又はレーダを支援できるという更なる有利な点を有する。

また、本発明は、ガードレール構造を検知する運転者支援システムにおいて：
ａ．複数の画像を取り込むように構成されるカメラと；
ｂ．カメラと接続されるように構成され、上記方法に記載の操作を実行するように構成されるプロセッサと、を備える運転者支援システムに関する。

運転者支援システムは、レーダを更に備えてよく、プロセッサは、ガードレール曲線を生成するためにレーダにより提供される情報を用いるように構成される。

また、本発明は、運転者支援システムを備える車両に関する。

車両は、乗用車、自動二輪車、又はトラックであってよい。

また、本発明は、画像フレームがガードレール構造を含むと決定する方法を提供するコンピュータ実装機械学習方法において：
ａ．データベースにおけるガードレール構造の少なくとも１つの画像フレームのラベル付きデータセットと学習モデルである少なくとも１つのマシンとを提供するステップと；
ｂ．ガードレールのガードレール構造の角度勾配情報を抽出するために少なくとも１つの画像フレームを処理するステップと；
ｃ．画像フレーム内にガードレール構造を含んでいる画像フレームを分類するための前記学習モデルを訓練するために角度勾配情報を用いるステップとを備える方法に関する。

学習モデルは、例えばサポートベクターマシンＳＶＭ又は適応型ブースティングマシンＡｄａＢｏｏｓｔ等のあらゆる適切な機械学習アプローチ、方法、又はモデルであってよい。

コンピュータ実装機械学習方法のステップｂ．は、並列コンピューティングに対するビュー指向、分散、クラスタベースのアプローチＶＯＤＣＡを実行することを含んでよい。

また、本発明は、メモリとプロセッサとを備えるコンピュータシステムにおいて、プロセッサは、上記コンピュータ実装機械学習方法の操作を実行するよう構成される、コンピュータシステムに関する。

図１は、ガードレール内の反復パターンを示す。 図２は、ガードレールの単一の構造を示す。 図３は、ガードレールの単一の構造の勾配を示す。 図４は、ガードレール構造の勾配方向ヒストグラム記述子（ＨｏＧ）特徴表現を示す。 図５は、ガードレール構造を検知し分類するための機械学習アルゴリズムを訓練するフロー図である。 図６は、切り抜きボックスに含まれる角度情報を示す。 図７は、図６に示される角度情報のガウス混合モデル密度分布を示す。 図８は、検知されたガードレール構造への多項式のフィッティングを示す。 図９は、（１）機械学習アプローチ（Ｓ１〜Ｓ５）を用いたガードレール構造の検知と（２）検知されたガードレール構造からのガードレールパターンの生成とを含む２つのステップのアプローチのフロー図に関する。 図１０は、本発明のコンピュータシステムを示す。

詳細な説明
以下、本開示を詳細に参照するが、その実施例が添付図面に示されており、全図面を通して同一の参照符号は同一の要素を示している。本開示の態様を以下に記載し、図面を参照して本開示の教示を説明する。

本開示を詳細に説明する前に、本発明は、その適用が以下の説明において記載されるか又は図面に示される設計の詳細及び構成要素の配置に限定されないと理解すべきである。本発明は、他の実施形態が可能であり、又は様々に実行或いは実施可能である。また、本開示中に用いられる表現及び用語は説明を目的とするものであって、限定的であると見なすべきではないと理解すべきである。不定冠詞「１つの（ａ）」及び「１つの（ａｎ）」並びに定冠詞「その（ｔｈｅ）」は、対応する複数も意味する。見出しは本発明の理解を助けるためにのみ付されており、セクション間同士の内容の範囲を定めるものと解釈されるべきではない。

ガードレール構造の検知
ガードレール１０１は、高速道路の路側そして他の種類の道路１０２にある線形構造である。

ガードレール構造は、図１にＴ１、Ｔ２．．．Ｔ６として示される反復パターンからなる。ここで、そのような反復パターンはカメラ（例えば単眼カメラ）を用いることで見出すことができると理解することは重要である。

ここでガードレール構造（例えば図１のＴ１〜Ｔ６）として称されるガードレール反復パターンは、２つの部分、即ち図２に示される垂直部ＶＰ及び非垂直部ＮＶＰからなってよい。

ガードレール構造のデジタル画像は、（図３に示されるような）画像の角度勾配又は類似の特徴記述子を提供するために処理してよい。これらの記述子をそのような構造を検出するために用いてよい。例えば、図４は、図２及び３と同じガードレール構造を示しているが、ガードレール構造の勾配方向ヒストグラムＨｏＧ記述子を用いて視覚化されている。角度勾配記述子（例えばＨｏＧ、エッジ方向ヒストグラム、スケール不変特徴変換記述子、及び形状コンテキスト）が用いられてよいのは、角度勾配記述子により提供される角度情報は対象物を豊かに説明するからである。

ガードレール構造を検知するための訓練機械学習アルゴリズム
ガードレール構造用に設けられた上記角度勾配記述子は、ガードレール構造を検知するための訓練機械学習アルゴリズムを提供するために用いることができる。得られる訓練された機械学習モデルは、ガードレール及び／又は画像内のガードレール構造を検知し分類することができる。

ガードレール構造を検知するための機械学習アルゴリズムを訓練する方法は、図５に示される。方法はコンピュータにより実行することができ、例えばパーソナルコンピュータ、ラップトップ、メインフレーム、又は少なくともプロセッサとメモリを有するあらゆる他のシステム等のあらゆる適切なコンピュータシステムにより実行することができる。訓練方法及びシステムは、車両に含まれる運転者支援システムの一部でなくてよく、従って、訓練は「オフライン」つまり方法又はシステムが運転者支援方法又はシステムとして動作していないときに実行できる。「オフライン」とは、運転者支援方法又はシステムのリアルタイム動作を意味し、即ち、方法又はシステムは、車両の運転中、ガードレール構造及び／又はガードレールの検知を試みている。

方法は以下のステップを含んでよい。データセットは、ガードレール及び／又はガードレール構造、即ち、既知のガードレール構造を含んでいる少なくとも１つのデジタル画像を含むデータベースに提供されるＳ５０１。データベースは、ガードレールの単一デジタル画像又はガードレール構造を示すフレームのシーケンス（例えばビデオ）を含んでよい。データセットは、デジタル画像に示されるガードレール構造を示し、異なるガードレール構造を示すためにラベル付けすることができる。

データセットは、上記角度勾配記述子を用いて角度勾配特徴を抽出するために用いることができるＳ５０１。角度勾配記述子は、教師あり学習に基づいて、認識システムに入力されてよい。例えば、認識システムは、サポートベクターマシンＳＶＭ又は適応型ブースティングマシンＡｄａＢｏｏｓｔ等の学習モデル又は分類器であってよい。方法の出力は、フレームに存在するガードレール構造のリストを提供することができる訓練された分類器Ｓ５０３である。方法は、検知された構造をトラッキングし、ガードレール構造の周りにバウンディングボックス又は切り抜きボックスを提供できるトラッキングステップを含んでもよい。

運転者支援方法及びシステム
１．ガードレールの検知方法及びシステム
この訓練されたモデル又は分類器は、あらゆるデジタル画像内のガードレール構造をオンラインで検知するために用いることができる。訓練されたモデル又は分類器を適用する場合、少なくとも２つのトラッキングされたガードレール構造を検出できる。これらの構造は、クラスタリングアルゴリズムを用いて真陽性のガードレール構造として検証でき、従って、必要ならば、偽陽性に同定されたガードレール構造を除去する。更に、クラスタリングアルゴリズムは、分類されたガードレール構造の角度の分布を決定するために用いることができる。

特に、方法又はシステムは、以下に示されるように偽陽性のガードレール構造を除去するステップを含んでもよい。偽陽性は、クラスタリングアルゴリズムを適用することで除去されてよい。クラスタリングアルゴリズムは、ガウス混合モデル（例えば１次元のガウス混合モデルＧＭＭ−１Ｄ）又はｋ平均法であってよい。

このステップは、以下のように実行される。偽陽性を除去するために、サニティチェックが適用できる。これは以下の方法ステップを用いて達成してよい。トラッカは、検知された構造をトラッキングするために用いることができる。（更なる処理のための）ガードレール構造を検討してよい。トラック長さは１より大であってよい。トラック長さは、所与のトラックにおいて検知された対象物のインスタンスの数に関する。本件の場合、これらの対象物は、ガードレールの潜在的なガードレール構造であり、即ち、対象物はサニティチェックをまだ受けていない。訓練された機械学習方法の分類器から、真陽性のガードレール構造を含むバウンディングボックスを得てよい。そして、方向勾配情報は、バウンディングボックス（図１のボックスＴ１〜Ｔ６と類似；図６は１つのバウンディングボックスの内容を示す）におけるその領域のエッジマップから抽出してよい。
ガードレール構造はＮＶＰとＶＰ成分（図２及び６参照）からなるため、例えば図６に示されるように、方向勾配記述子におけるＶＰ成分の０度又は略０度エッジを得てよい。ここで、ＮＶＰエッジ成分は非０の角度勾配情報に寄与してよい。

この場合、方向勾配情報値は、上記のように、クラスタリングアルゴリズムに移されてよい。従って、２次元角度情報は、１次元データを得るために、行優先行列又はあらゆる適当な方法に変換されてよい。例えばＧＭＭ等のクラスタリングアルゴリズムから、分布、つまり最も高い確率を有するｍ個のガウスカーネルが更なる分析のために選択される。ガウス分布の１つは、ＶＰ成分に対応してよく、それ以外はＮＶＰ成分に関係する。

例えば、ｍは閾値Ｔを設定することにより決定され、予め定められた閾値Ｔを超える全てのガウス分布が検討されてよい。

図６に示される一例のカットアウトにおいて、ｎ＝４（ｎはガウスカーネルの個数）の場合のＧＭＭクラスタリング出力が図７に示される。

表１は、図７に示されるガードレール構造の平均及び拡散を示す。但し、表１は本発明を例示し説明する役目を果たすに過ぎない。図７及び対応する表１から、勾配は、シグマにより示される拡散に沿って平均値に集中する成分（カーネルとも称される）を有することが観測できる。図は、２つの高密度ピーク即ち、２．４６度のｃ３及び−１９．１６度のｃ２を有することが観測できる。

更に、これら成分間における重複が存在するため、それらは１つの成分と考えることができる。それ以外の２つの成分、即ちｃ１及びｃ４は、１対の〔−１８０、−１８０〕円状表現の線を示している。これら２つの成分はガードレール構造に属し、その角度を決定することができる。

ここで、サニティチェックは、例えばＧＭＭ分布をチェックすることで、偽陽性ガードレール構造／バウンディングボックスを除去するために適用されてよい。（全部のうち）カーネル平均の１つは、０°±Δ（Δは所定の閾値）でなければならないとしてよい。または、検知されたボックスは除去できる。

同じ操作を（カットアウトボックスでトラッキングされた）検知されたガードレール構造の全てに対して実施してよい。しかし、本発明の方法を実施する場合には、あらゆる適切なトラッキング方法を用いることができる（例えばカルマンフィルタ）。これらガードレール構造から、ＮＶＰ角度情報、即ち、上記の平均μを抽出できる。これら平均値が関係しているのは、ＮＶＰ成分が、下記のようにガードレール構造間の連続性に寄与するからである。

２．検知されたガードレール構造からのガードレールパターンの生成
ガードレールパターンを決定するために、１セットの点を通る曲線を描く必要がある（即ち、この目的のため、ガードレール構造の全てが１つの点に寄与する）。この点は、検知されたボックス内のＮＶＰ勾配線の交点として得ることができる。

そして、検知された構造のＮＶＰ部の角度、特にＮＶＰを検討して、方向（例えば多項式）曲線は、ガードレール構造を通してフィッティングされる。

任意には、連続性チェックを実施することができる。角度情報（即ちμ）は、上記のように、拡散（即ちσ）を用いて得ることができる。これにより、各ガードレール構造のＮＶＰ（σ内）の角度に関する情報を検討しながら、点描／描かれた線を適合させることができる。このように、円滑な線８０１を提供することができ、例えば道路８０２を含む画像（図８参照）に視覚化されてよく、又は他に適用するために提供されてよい。

ＮＶＰ成分の角度を検討しながら曲線を描くことにより、道路の両側にガードレールを有する場面における提案されたアルゴリズムのロバストな実施が確実になる。そのような場面において、運転者支援システム又は方法は、両側のガードレール構造を検知することができる。これらの場面では、開示された方法及びシステムによると、道路の左側と右側に見出されるガードレール構造では異なるＮＶＰ値になる。この結果、開示された方法及びシステムにより、２つのガードレールを同時に、所与のフレーム内に検知又は／及び描くことができる。

図９は、開示された運転者支援システム及び方法のステップの概観を示す。

ステップＳ９０１では、フレーム（即ち、画像又はビデオのフレーム）が入力される。訓練された機械学習アルゴリズム又は方法は、ガードレール構造を検出するフレームに適用されるＳ９０２。そして、ガードレールのガードレール構造はあらゆる適切なトラッキング方法（例えばカルマンフィルタ）によりトラッキングされ、更なる処理のため、カットアウトボックスが提供（抽出）される。カットアウトボックスに含まれる情報から、ＮＶＰに関する角度情報を含む、カットアウトボックスにおける構造の角度情報が得られるＳ９０３。任意には、クラスタリングが偽陽性を除去するために適用できるＳ９０４。ＮＶＰ角度に関する情報が得られ、提供されるＳ９０５。得られたＮＶＰ角度情報を検討して、（例えば多項式）曲線が、各ガードレール構造を通してフィッティングされる。

図１０は、本発明のガードレールパターンを生成する方法を実施するコンピュータシステム１０００を示す。コンピュータシステムは、プロセッサ１００１で処理されるフレームを取り込むカメラ１００２を有する。任意に、システム１０００は、取り込まれて処理されたデータを格納するメモリを有する。

本発明のコンピュータ実装機械学習方法は、同じシステムで実施することができるが、その場合、カメラ１００２は任意である。

本発明のコンピュータシステムは、パーソナルコンピュータ、特定用途向け集積回路ＡＳＩＣ、又はフィールドプログラマブルゲートアレイＦＰＧＡであってよい。

１０１ ガードレール
Ｔ１〜Ｔ６ ガードレール構造
１０２ 道路
Ｓ５０１ ガードレール構造用ラベル付きデータベースを提供
Ｓ５０２ 角度勾配特徴を抽出
Ｓ５０３ 分類ステップ
８０１ 描かれた曲線
８０２ 道路
Ｓ９０１ フレームを入力
Ｓ９０２ ガードレールを検出する機械学習アルゴリズムを適用
Ｓ９０３ カットアウトの角度情報を抽出
Ｓ９０４ クラスタリングを適用
Ｓ９０５ 非垂直部角度情報を抽出
Ｓ９０５ 非垂直部角度情報を検討して（多項式）フィッティングを実施
１０００ コンピュータシステム
１００１ プロセッサ
１００２ カメラ

Claims (19)

1. ガードレールパターンを生成するコンピュータ実装方法において：
   ａ．カメラを用いて画像フレームを取り込むステップと；
   ｂ．前記画像フレームがガードレールの、非垂直部ＮＶＰと垂直部ＶＰとを有する少なくとも２つのガードレール構造を含むと決定し、切り抜きボックスを用いて前記画像フレーム内の前記ガードレール構造をトラッキングするステップと；
   ｃ．トラッキングされた前記ガードレール構造のうちの１つの角度勾配情報を抽出するために前記切り抜きボックスの情報を処理するステップと；
   ｄ．前記切り抜きボックスの成分の角度に関する情報のクラスタを生成するクラスタリング方法を用いて前記角度勾配情報をクラスタリングするステップと；
   ｅ．前記切り抜きボックスの前記非垂直部ＮＶＰに関する情報を抽出するステップと；
   ｆ．トラッキングされたガードレール構造の全てがステップｃ〜ｅを経るまでステップｃ〜ｅを繰り返すステップと；
   ｇ．トラッキングされたガードレール構造の前記ＮＶＰを通して曲線をフィッティングするステップとを備える方法。
2. 前記角度勾配情報は、前記少なくとも２つのガードレール構造の、ガードレールの単一の構造の前記垂直部及び前記非垂直部の勾配線と基準に対する非垂直部の角度勾配に関する情報とを提供する角度勾配記述子、好ましくは勾配方向ヒストグラム記述子を備えることによって抽出される、請求項１に記載の方法。
3. 前記角度勾配情報は、並列コンピューティングに対するビュー指向、分散、クラスタベースのアプローチＶＯＤＣＡを実行することで抽出される、請求項１又は２に記載の方法。
4. ステップｇ）は、ガードレールを示す連続曲線を得るために、検知された前記ガードレール構造を通して曲線を補間することを含む、請求項１〜３の何れか１項に記載の方法。
5. 前記曲線は、前記少なくとも２つのガードレール構造のＮＶＰの勾配線の交点を通る多項式曲線である、請求項１〜４の何れか１項に記載の方法。
6. ステップｄ．は各非垂直部における平均値μと、対応する拡散σとを提供し；前記拡散は前記曲線の前記フィッティングを最適化するために用いられる、請求項１〜５の何れか１項に記載の方法。
7. ステップｄ．は偽陽性のガードレール構造を除去することを更に含む、請求項１〜６の何れか１項に記載の方法。
8. 検知された前記ガードレール構造の前記トラッキングは、あらゆる適切なトラッキングアルゴリズム又は方法、特にカルマンフィルタを用いて実行される、請求項１〜７の何れか１項に記載の方法。
9. 前記画像フレームが道路の別々の側における２つのガードレール構造を含むことが決定され、及び／又は２つの曲線が生成される、請求項１〜８の何れか１項に記載の方法。
10. 前記ガードレール構造の前記角度情報を検討することにより、前記画像フレームが道路の別々の側における２つのガードレール構造を含むことが決定される、請求項９に記載の方法。
11. 運転者が前記ガードレールに接近しているとき、運転者を警告するステップを更に備える、請求項１〜１０の何れか１項に記載の方法。
12. ガードレール構造を検知する運転者支援システム（１０００）において：
    ａ．複数の画像を取り込むように構成されるカメラ（１００２）と；
    ｂ．前記カメラと接続されるように構成され、請求項１〜１１の何れか１項に記載の操作を実行するように構成されるプロセッサ（１００１）と、を備える運転者支援システム。
13. レーダを更に備え、前記プロセッサは、ガードレール曲線を生成するために前記レーダにより提供される情報を用いるように構成される、請求項１２に記載の運転者支援システム。
14. 請求項１２又は１３に記載の運転者支援システムを備える車両。
15. 前記車両は、乗用車、自動二輪車、又はトラックである、請求項１４に記載の車両。
16. 画像フレームがガードレール構造を含むと決定する方法を提供するコンピュータ実装機械学習方法において：
    ａ．データベースにおけるガードレール構造の少なくとも１つの画像フレームのラベル付きデータセットと学習モデルである少なくとも１つのマシンとを提供するステップと；
    ｂ．ガードレールのガードレール構造の角度勾配情報を抽出するために前記少なくとも１つの画像フレームを処理するステップと；
    ｃ．画像フレーム内にガードレール構造を含んでいる前記画像フレームを分類するための前記学習モデルを訓練するために前記角度勾配情報を用いるステップとを備える方法。
17. 前記学習モデルは、サポートベクターマシンＳＶＭ若しくは適応型ブースティングマシンＡｄａＢｏｏｓｔ、又はあらゆる適切な機械学習アプローチである、請求項１６に記載の方法。
18. ステップｂ．は、並列コンピューティングに対するビュー指向、分散、クラスタベースのアプローチＶＯＤＣＡを実行することを含む、請求項１６又は１７に記載の方法。
19. メモリ（１００３）とプロセッサ（１００１）とを備えるコンピュータシステム（１０００）において、前記プロセッサは、請求項１〜１１又は１６〜１８の何れか１項に記載の操作を実行するよう構成される、コンピュータシステム。