JP2022500737A - センサの画像区間の選択方法 - Google Patents

Abstract

センサデータに基づいた、センサによる周辺検出のための区間の選択方法であって、少なくとも１つの追加センサによって周辺が検出され、少なくとも１つの追加センサの特定されたセンサデータに基づいて、物体検知が実行され、物体検知に基づいて、少なくとも１つの検知された物体の位置情報がセンサの座標系に変換され、センサは、変換された位置情報に基づいて、周辺検出のための走査領域の一区間、または既に検出されたセンサデータの一画像区間を評価のために使用する方法が開示されている。さらに、制御装置が開示されている。【選択図】図２

Description

本発明は、センサデータに基づいた、センサによる周辺検出のための区間の選択方法および制御装置に関する。

自動運転機能を備えた車両は、一定の自動化レベルから自律的に運転者なしで操作可能である。例えば、車両が自動的に道路のコースを辿り、他の道路利用者や障害物を単独で検知し、車両内の対応する制御コマンドを計算し、さらにこの制御コマンドを車両内のアクチュエータに転送することにより、車両の走行コースに正しく影響を与えることができる。運転者は、完全自律車両の運転状況には関与しない。

現在入手可能な自動車では、公共交通圏での自律走行は限られている。法的規制があるため、特に、運転者が常に自らの運転状況に介入できるようにしなければならない。これにより、自律走行車の実現が難しくなっている。しかし、自律走行や半自律走行を可能にする複数のメーカーのシステムは、既にテスト段階に入っている。

既に現在、自律走行車には車両の周辺検出をするために様々なセンサが使用されている。アルゴリズムに基づいてセンサデータを評価し、例えば周辺の物体を検知できる。

本発明の課題は、センサデータの評価を高速化する方法を提案することである。

この課題は、独立請求項の各主題によって解決される。本発明の有利な実施形態は、それぞれの従属請求項の主題である。

本発明の一態様によれば、センサデータに基づいた、センサによる周辺検出のための区間の選択方法が提供される。少なくとも１つの追加センサによって周辺が検出される。少なくとも１つの追加センサの特定されたセンサデータに基づいて、物体検知が実行される。物体検知に基づいて、少なくとも１つの検知された物体の位置情報が特定され、センサの座標系に変換され、センサは、変換された配置情報に基づいて、周辺検出のための走査領域の一区間、または既に検出されたセンサデータの一画像区間を評価のために使用する。

これにより、周辺検出および／またはセンサデータの評価に使用される、１つまたは複数の関連画像区間を特定することができる。関連画像区間とは、例えば、ＬＩＤＡＲ（ｌａｓｅｒ ｉｎｔｅｎｓｉｔｙ ｄｉｒｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）スキャンにおいて、自律走行車の周辺からの関連物体データを含む画像区間のことである。この方法によって、例えばＲＡＤＡＲ（ｒａｄｉｏ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）センサ、ＬＩＤＡＲセンサ、カメラセンサなどのさらなる、または追加の周辺センサを利用して、センサデータの関連画像区間を事前に選択することができる。加速と最適化が可能なセンサは、例えば、ＬＩＤＡＲセンサやＲＡＤＡＲセンサとして構成することができる。

追加のセンサを使用することで、センサの周辺にある関連物体に関して、関連画像区間または特定のピクセルの選択を迅速かつ効率的に実行できる。

一実施形態では、センサのための関連ピクセルまたは画像区間の選択は、例えば車両のカメラデータなどのセンサデータを用いて行うことができる。例えば、カメラでは既に物体検知機能を使用可能であり、この物体検知が一定の確率で確実に機能する。カメラ画像内に関連物体が検知された場合、まず、車両座標系またはカメラ座標系を基準にして、物体の位置を測定することができる。次のステップでは、検知された物体を座標系に変換することで、センサの検出範囲またはセンサの走査範囲内にあるこの物体の関連画像ポイントまたは関連画像区間が生成される。

さらなる実施例によれば、センサの関連画像区間の選択は、例えばＲＡＤＡＲセンサ、超音波センサ、車両に設置された他の周辺センサからのデータによって実行することができる。

センサは例えばＬＩＤＡＲセンサであってもよいが、ＲＡＤＡＲセンサやカメラセンサなど、任意のその他のセンサであってもよい。まずＬＩＤＡＲセンサで物体を検知し、続いて他の周辺センサで関連画像区間の選択に使用することで、例えばこの方法は逆方向にも行うことができる。さらに、この方法を実施するために、周辺センサの任意の組み合わせを選択することができる。

この方法は、特に以下の利点を有する。
− さらなる冗長周辺センサにおける、高速で的確な物体検知または物体妥当性検査によって、自律走行車の安全性が向上する。
− 車両に設置された周辺センサは、車両の周辺検知のために相互に密接に協働することができる。
− この方法により、関連する全ての周辺センサにおいて、経時的に車両周辺の全体像を使用することができる。
− 物体検知のために冗長周辺センサの関連画像区間のみを考慮する場合、周辺センサの全てのピクセルまたは全ての入力データを伝送または分析する必要がないため、この周辺センサを高性能に設計しなくてもよい。
− 周辺センサで検知された物体を物体寸法とともに他の周辺センサのターゲット座標系に座標変換し、その後、この周辺センサにデータ伝送し、または少なくとも１つの追加センサのセンサデータからの同じデータを処理することを、速度に重点を置いて、より少ない演算能力で行うことができる。さらに、方法を実施するための車両のバスシステムへの負荷を低く抑えることができる。

一実施形態によれば、少なくとも１つの検知された物体からの位置情報は、物体寸法と、センサまたは車両の座標系における物体の位置とを有する。ここで、センサ間のデータ伝送は、例えば、カメラシステムで検知された物体の物体寸法と、カメラの座標系におけるこの物体の位置とを有することができる。この位置情報は、センサ同士の既知の相対的な配置に基づいて、追加のセンサで既に検知されている物体をセンサでも同様に検知できる区間を算出するために使用することができる。このようにして、データ伝送を非常に無駄なく行うことができる。アルゴリズムまたはＡＩを用いて、センサスキャンから関連画像区間または関連ピクセルのみを分析することにより、さらなるステップでは、コンピュータプログラムやインテリジェントアルゴリズム、または人工知能を用いて、センサの画像データからこの関連物体の選択を行うことができる。このようにして、関連画像区間またはその瞬間に関連するピクセルデータのみが評価されるため、センサによる物体検知は著しく高速化され、必要な演算能力は少なくなる。

さらなる実施例によれば、ＬＩＤＡＲセンサは、複数のセンサからの変換された位置情報に基づいて、既に検出されたセンサデータから少なくとも１つの画像区間を評価のために使用する。これにより、センサ内の関連画像区間の選択は、複数の追加の周辺センサからのデータを組み合わせて行うことができる。

例えば、ＬＩＤＡＲセンサにおけるカメラとＲＡＤＡＲセンサの１つまたは複数の検知物体を、画像区間の対象選択や妥当性検査に使用することができる。

さらなる実施例によれば、位置情報の変換は、中央制御装置またはセンサ制御装置によって実行される。したがって、検知された物体の位置情報の変換は、少なくとも１つの追加センサのカメラ座標系から、例えばＬＩＤＡＲセンサなどのセンサの座標系への変換を行うことができる。ここで、変換は、例えば車両の中央コンピュータ上で行われてもよいし、センサまたは追加センサのコンピュータ内で行われてもよい。センサは、例えばフレックスレイ、イーサネット（登録商標）、ＣＡＮ、無線インターフェースなどの車両バスを用いて、車両制御装置を介して、直接的または間接的に通信上相互接続することができる。

さらなる実施形態によれば、位置情報の変換は追加のセンサによって実行され、センサ間に直接的な通信リンクが確立される。これにより、本方法を分散して実施することができる。

さらなる実施例によれば、少なくとも１つのセンサによって提供された少なくとも１つの物体位置情報は、少なくとも１つの物体を追跡するために経時変化される。この時、例えばカメラで検知した物体を経時的に追跡し、関連画像区間を選択するためにセンサに連続的または周期的に伝送することができる。特に、位置情報は、追跡された物体に送信することができる。これは、物体がカメラまたは少なくとも１つの追加センサの関連画像区間から既に離れている場合でも実行できる。例えば、物体が車両前方にもはや位置しなくなったため、フロントカメラ（追加センサ）ではもはや見えなくなり、車両の側面に配置されたセンサ（ＬＩＤＡＲセンサ）でのみ見えるようになる。ＬＩＤＡＲセンサは、瞬間的な車両速度に基づいて、カメラ画素以上のカメラ画像の流れを外挿することで、関連画像区間を受信し、ひいては車両側面にある物体を的確に追跡する。

さらなる実施例によれば、少なくとも１つのセンサの走査領域外にある少なくとも１つの物体の位置情報の経時変化可能な適応が継続される。例えば、車両に設置されているフロントカメラを使って物体を検知することができる。この物体は、続いて車両によって通過されるが、これは車両が物体を横方向に通り過ぎることを意味する。この場合、関連物体は、車両の演算装置または制御装置の一時メモリに格納され、車速または車両の動態またはグローバルな高精度の車両位置を用いて、カメラの関連画像区間がなくなっている場合でも、センサまたはＬＩＤＡＲセンサの座標系に変換できる。これにより、物体の位置情報を車両の側面に設置されたＬＩＤＡＲセンサに転送することができる。これは、例えば、車両の側面に設置されたＬＩＤＡＲセンサによって、対応する物体が確実に検知されるまで行われる。この場合、ＬＩＤＡＲセンサは、対応する車両コンピュータまたはカメラシステム自体にフィードバックを提供することができる。特に、対応する物体が車両の側面で再度見つかったことを伝達できる。続いて、対応する座標系にさらに連続して変換された、一時的に記憶された物体データや物体の位置情報を削除することができる。側面に設置されたＬＩＤＡＲセンサが単独で物体検知を実行できる。

さらなる実施例によれば、評価に使用されるＬＩＤＡＲセンサの検出されたセンサデータの少なくとも１つの画像区間は、位置センサのセンサデータと地図のデータに基づいて選択される。ここで、少なくとも１つのＧＮＳＳ（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサのデータや、高精度な地図上での車両位置を用いて、例えばＬＩＤＡＲセンサにおける関連画像区間の選択が行われる。例えば、車両はエリア内の自分の位置を高精度で把握している。また、車両の高精度な位置を地図上にマッピングすることで、車両周辺の特徴または重要な構造物を知ることができる。本発明のこの実施形態の１つの適用例は、横断歩道の右側または左側にいる歩行者を的確に検知することである。例えば、自律走行車は、自車がちょうど横断歩道に近づいていることを把握する。その横断歩道までの距離と向きを利用して、その横断歩道に相対するＬＩＤＡＲセンサからの所期の画像情報を、理論的には歩行者がいる可能性のあるＬＩＤＡＲセンサの対応するスキャンから選択することができる。これは、例えば、横断歩道の左側、横断歩道上、あるいは横断歩道の右側などであり得る。この目的のため、横断歩道の相対的な位置が、横断歩道の寸法および考え得る歩行者の位置とともに、ＬＩＤＡＲセンサの座標系に変換される。ＬＩＤＡＲセンサは、この時点での歩行者検知に関連画像区間を的確に選択することができる。他の考え得る適用例は、都市部で横に駐車している車両を検知したり、地図上で既に存在する構造物を検知して、グローバルに車両の向きや位置を確認したりすることである。

さらなる実施例によれば、評価に用いられるＬＩＤＡＲセンサの検出したセンサデータの少なくとも１つの画像区間は、少なくとも１人の道路利用者の位置データに基づいて選択される。さらなる実施形態によれば、少なくとも１人の道路利用者の位置データは、直接的または間接的な通信リンクを介して伝送される。例えばＬＩＤＡＲセンサなどの関連画像区間の選択は、受信した他の道路利用者の位置データを利用して、Ｃａｒ−ｔｏ−Ｘ通信リンクを介して伝送することができる。この場合、自車はＣａｒ−ｔｏ−Ｘ通信リンクを介して、他の道路利用者の寸法、高精度の位置、および方向を受信できる。これらの他の道路利用者の高精度な位置は、次のステップでセンサの座標系に変換される。続いて、少なくとも１人の他の道路利用者を検知するために、センサ内の関連画像区間の選択が、正確にこの道路利用者の変換された座標と寸法とを用いて実行される。このようにして、Ｃａｒ−ｔｏ−Ｘ通信を介して受信した、他の道路利用者の自車に対する相対的な位置データおよび方向について、妥当性検査することができる。

さらなる実施形態によれば、ＬＩＤＡＲセンサの検出したセンサデータの少なくとも１つの画像区間は、人工知能によって選択される。したがって、関連画像区間の選択は、例えばニューラルネットワークとして構成された人工知能（ＡＩ）によって実行されてもよい。例えば、このＡＩは、センサの座標系への検知物体の座標変換を自動的に実行することができる。代替的にまたは追加的に、ＡＩは、カメラ、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサ、超音波センサ、ＧＮＳＳセンサ、Ｃａｒ−ｔｏ−Ｘ通信などを用いて、自車に対する相対的な物体の検知を行うこともある。さらに、センサやセンサ制御装置に独自のＡＩを配置し、このＡＩが受信したデータ（検知物体の座標や寸法）から、関連画像区間を前方で選択することで、物体検知や物体の妥当性検査を実行することもできる。

さらなる実施形態によれば、ＬＩＤＡＲセンサで実行された評価は、物体検知の妥当性検査のために使用される。これにより、このセンサは、追加のセンサのための冗長性を形成することができる。

さらなる実施形態によれば、妥当性検査は、少なくとも１つのセンサからの要求によって実行される。また、他の周辺センサで既に検知された物体検知または物体の妥当性検査は、要求によって、または必要に応じてセンサによって行うことができる。例えば、物体は、低い「確信度」または確実性でのみ周辺センサによって検知される。周辺センサは、推定される検知物体の座標および寸法を要求によってセンサに送信する。センサは、関連画像区間を使用して、１回または定義された期間、物体検知を実行することができる。例えば、座標変換が行われた後に、関連画像区間においてもセンサによって物体が確実に検知される場合、センサは、対応する物体が妥当性を有するという応答を他の周辺センサに送信する。他の周辺センサは、自律走行を実施するために、確実に検知された物体をさらに追跡することができる。複数回試行しても、センサが対応する物体を検知できなかった場合、要求元の追加の周辺センサに対して、その物体が妥当性を有さないという応答も同様に送信される。本発明のこの実施形態では、センサで検知された物体の的確な妥当性検査が可能である。この妥当性検査を非常に短い期間で行うことにより、自律走行の機能が維持され、より確実に、かつ安全に行われる。センサは例えば、特定の車両周辺に対しては、ＡＩまたはインテリジェントアルゴリズムを用いて一般的な物体検知を行い、特定の画像区間に対しては、現存の周辺スキャンを用いて物体検知を行うことができる。この時、物体検知の前に、関連画像区間の選択を行うことができる。代替的にまたは追加的に、この物体に関するセンサの画像区間全体を分析することもできる。

本発明のさらなる態様によれば、少なくとも１つのセンサに接続し、少なくとも１つのセンサからセンサデータを読み取るための制御装置が提供され、制御装置は本方法の全てのステップを実施するように設定されている。

特に、制御装置は、センサ制御装置として、または中央制御装置として実施することができる。ここで、制御装置は、車両の内部に配置されていても、車両の外部に配置されていてもよい。したがって、制御装置に連結された車両の全ての周辺センサは、車両バスを介して制御装置にセンサデータを伝送することができる。ここで、この方法は、周辺センサ自体では実施されず、十分な演算能力を有する制御装置においてのみ実施される。用途に応じて、任意の数のセンサを制御装置に連結することができるため、センサ融合の範囲内で、評価や方法の精度を向上させることができる。

以下に、簡略化した概略図を参照しながら、本発明の好ましい実施例を詳述する。

制御装置およびセンサを備えた車両の概略図である。 一実施形態にかかる方法の概略フロー図である。

図１には、制御装置２、およびセンサ４、６、８を有する車両１の概略図が示されている。車両１は、自動運転可能な車両１であり、少なくとも１つの制御装置２を有する。

制御装置２は、センサデータを読み出し、さらに処理することができるように、センサ４、６、８に結合されている。車両１のセンサシステムは、ＬＩＤＡＲセンサ４と追加センサ６、８から構成されている。追加センサ６、８は、カメラ６およびＲＡＤＡＲセンサ８として実施されている。

制御装置２は、通信リンク１２を確立するための通信ユニットを有する。通信リンク１２は、例えば、Ｃａｒ−２−Ｘ通信リンクであってもよく、これにより、他の道路利用者１４は、自分の位置や他のデータを制御装置２と交換することができる。

センサ４、６、８は、車両１の周辺にある物体１６を特定できる。

図２は、一実施形態にかかる方法１８の概略フロー図である。
特に、方法１８は、追加のセンサ６、８のセンサデータに基づいて、センサ４による周辺検出のための区間を選択するために機能する。
ステップ１９では、少なくとも１つの追加センサ６、８によって周辺が検出される。少なくとも１つのセンサ６、８の検知されたセンサデータに基づいて、物体検知２０が実行される。物体検知２０に基づいて、少なくとも１つの検知物体１６の位置情報がセンサ４の座標系に変換される２１。続いて、変換された位置情報に基づいて、センサ４の走査領域の一部を周辺検出に使用し２２、または既に検出されたセンサデータからセンサ４のセンサデータの画像区間を評価に使用する２３。

Claims (13)

1. センサデータに基づいた、センサ（４）による周辺検出のための区間の選択方法（１８）であって、少なくとも１つの追加センサ（６、８）によって周辺が検出され（１９）、前記少なくとも１つの追加センサ（６、８）の特定されたセンサデータに基づいて、物体検知（２０）が実行され、前記物体検知に基づいて、少なくとも１つの検知された物体（１６）の位置情報が前記センサ（４）の座標系に変換され（２１）、前記センサ（４）は、前記変換された位置情報に基づいて、周辺検出のための走査領域（２２）の一区間、または既に検出されたセンサデータ（２３）の一画像区間を評価のために使用する方法。
2. 前記少なくとも１つの検知された物体（１６）からの位置情報は、物体寸法と、物体の位置とを有する、請求項１に記載の方法。
3. 前記センサ（４）は、複数の追加センサ（６、８）からの変換された位置情報に基づいて、既に検出されたセンサデータから少なくとも１つの画像区間を評価のために使用する、請求項１または２に記載の方法。
4. 前記位置情報の変換は、中央制御装置（２）またはセンサ制御装置によって実行される、請求項１から３のいずれか一項に記載の方法。
5. 前記位置情報の変換は、前記追加のセンサ（６、８）によって実行され、前記センサ（４、６、８）間に直接的な通信リンク（１２）が確立される、請求項１から４のいずれか一項に記載の方法。
6. 前記少なくとも１つのセンサ（６、８）によって提供された少なくとも１つの物体（１６）の位置情報は、前記少なくとも１つの物体（１６）を追跡するために経時変化している、請求項１から５のいずれか一項に記載の方法。
7. 前記少なくとも１つの追加センサ（６、８）の走査領域外にある前記少なくとも１つの物体（１６）の位置情報の経時変化可能な適応が継続される、請求項６に記載の方法。
8. 前記センサ（４）の検出されたセンサデータの評価に使用される前記少なくとも１つの画像区間は、位置センサの追加のセンサデータと地図のデータとに基づいて選択される、請求項１から７のいずれか一項に記載の方法。
9. 前記センサ（４）の検出されたセンサデータの評価に使用される前記少なくとも１つの画像区間は、少なくとも１人の道路利用者（１４）の位置データに基づいて選択され、前記少なくとも１人の道路利用者の位置データは、直接的または間接的な通信リンク（１２）を介して伝送される、請求項１から８のいずれか一項に記載の方法。
10. 前記センサ（４）の検出されたセンサデータの前記少なくとも１つの画像区間は、人工知能によって選択される、請求項１から９のいずれか一項に記載の方法。
11. 前記センサ（４）によって実行される評価は、前記少なくとも１つの追加センサの物体検知の妥当性検査のために使用される、請求項１から１０のいずれか一項に記載の方法。
12. 前記妥当性検査は、少なくとも１つの追加センサ（６、８）からの要求によって実行される、請求項１１に記載の方法。
13. 少なくとも１つのセンサ（４、６、８）に接続され、少なくとも１つのセンサ（４、６、８）からセンサデータを読み取るための制御装置（２）であって、前記制御装置（２）は、請求項１から１２のいずれか一項に記載の方法（１８）を実行するように構成されている制御装置。

Images