JP2023107752A - 対象物検出器をトレーニングするための方法及び制御装置 - Google Patents

Abstract

【課題】本発明は、センサのセンサデータにおける対象物を検出するように構成されている対象物検出器をトレーニングするための方法に関する。【解決手段】本方法（１，２０）は、センサの第１のセンサデータを供給するステップ（３，２２）と、第１のセンサデータに対応付けられた対象物表現を供給するステップ（４，２３）と、センサのセンサデータに対して対象物表現をマッピングするように構成されているセンサモデルへ対象物表現を伝送するステップ（５，２４）と、センサモデルによって対象物表現を第２のセンサデータに対応付けるステップ（６，２５）と、第２のセンサデータに基づいて対象物検出器をトレーニングするステップ（７，２６）と、を含む。【選択図】図１

Description

本発明は、最適化された対象物検出器を生成することのできる、対象物検出器をトレーニングするための方法及び制御装置に関する。

自動車の環境の包括的な認識、特に対象物、例えば自動車の環境に存在する他の交通利用者の包括的な認識が、自動車の多くの運転者支援システム及び自動運転機能にとっての基礎となっている。ここで、自動車は通常、各検出領域における対象物を識別するというタスクを有するセンサシステムを備えている。個々のセンサシステムは、この場合それぞれ、環境センサと、この環境センサから送出されたデータを分析して例えばデータ内の対象物を検出するように構成された処理ユニットとを含む。この場合、環境センサは、例えば、カメラ、レーダ、ＬｉＤＡＲ、又は、超音波センサであり得る。

ここで、この種のセンサシステム又はセンサシステムの処理ユニットは、機械学習アルゴリズム、例えばディープニューラルネットワークをますますその基礎とするようになっている。対象物検出のためのディープニューラルネットワークは、典型的には２つのモジュールから成る。第１のモジュール、いわゆるフィーチャバックボーン（Feature Backbone）は、センサデータに基づく特徴抽出に用いられ、ここでは、多数のニューラルネットワーク層が並列配置されることにより、センサデータから特徴が抽出される。次いで、第２のモジュール、いわゆるディテクションヘッド（Detection Head）が、抽出された特徴に基づいて１つ又は複数の対象物クラスのための対象物検出を実行する。

ここで、このような対象物検出器は、通常、教師あり学習によって、すなわちアノテーションされたデータ又はラベリングされたデータに基づいて、トレーニングされる。しかし、相応のデータセットの作成及び特にアノテーションには、時間及びリソース又はコストが大きくかかる。特に、データセットはこの場合、相応のセンサによって適当に検出された対象物に対してのみアノテーションを有する。また、典型的にはアノテーションが存在しないセンサ、例えばレーダセンサも知られている。レーダに基づく対象物検出器に基づく対象物へのアノテーションはきわめて困難であるので、レーダに基づく対象物検出器のトレーニングのために、ＬｉＤＡＲに基づくアノテーションが使用されることが多い。ただし、この場合、測定方式、センサ仕様又はセンサの取り付け位置若しくは組み込み位置がそれぞれ異なるため、アノテーションを１対１に伝送できないことが多く、このことが、相応にトレーニングされた対象物検出器の品質低下をまねくことがある。

独国特許出願公開第１０２０１７００６１５５号明細書からは、車両用の、少なくとも２つの環境センサを備えたセンサシステムを動作させるための方法が公知であり、ここでは、第１の分類器が第１の環境センサの第１のトレーニングデータによってトレーニングされ、第１の分類器を表現する第１の分類モデルが決定され、第１の環境センサの第１のセンサデータが第１の分類モデルに基づいて分類され、第１の環境センサとは異なる第２の環境センサの第２のセンサデータが受信され、第１の分類器を用いて第２のセンサデータが第１の分類モデルに基づいて分類され、分類された第２のセンサデータが、第２の環境センサに対応付けられた第２の分類器へ第２のトレーニングデータとして伝送され、第２の分類器を表現する第２の分類モデルが第２のトレーニングデータに基づいて決定される。

独国特許出願公開第１０２０１７００６１５５号明細書

したがって、本発明の基礎とする課題は、対象物検出器をトレーニングするための改善された方法を提供することである。

課題は、請求項１の特徴部分に記載の、対象物検出器をトレーニングするための方法によって解決される。

また、課題は、請求項６の特徴部分に記載の、対象物検出器をトレーニングするための制御装置によって解決される。

発明の開示
本発明の一実施形態では、上記の課題は、対象物検出器をトレーニングするための方法であって、対象物検出器がセンサのセンサデータにおける対象物を検出するように構成されており、センサの第１のセンサデータが供給され、第１のセンサデータに対応付けられた対象物表現が供給され、センサのセンサデータに対して対象物表現をマッピングするように構成されているセンサモデルへ対象物表現が伝送され、センサモデルによって対象物表現が第２のセンサデータに対応付けられ、第２のセンサデータに基づいて対象物検出器がトレーニングされる方法により、解決される。

したがって、センサモデルは、環境表現として予測されるセンサの測定データに対して当該環境表現をマッピングする関数を記述する。特に、センサモデルはこの場合、対応するセンサの測定特性をモデリングするものである。

さらに、対象物検出器による対象物検出は、対象物の分類と分類された対象物の対象物パラメータの推定との双方を含み得る。なお、対象物検出器による対象物検出は、例えば対象物の分類のみを含むこともあり得る。この場合、対象物検出器は、例えば、既知の値又は実際にセンサによって測定された値と、相応に対応付けられた検出結果又は対象物検出結果とに基づいて、事前トレーニングすることができる。

さらに、対象物表現とは、センサデータにおける対象物の表現又はマッピングを表すものである。ここで、当該対象物表現は、例えば、対象物検出器による第１のセンサデータに基づいて生成されるものすなわち対象物検出結果とすることができ、又は、供給されたアノテーションによっても、若しくは、補完のために利用される、例えば他のセンサから供給された付加的なデータによっても、規定することができる。

この方法によって、ここでは、特定のセンサに基づいてアノテーションされたデータセットを他のセンサのために使用することができる。例えば、ＬｉＤＡＲセンサに基づいて生成されたアノテーションを、レーダ対象物検出器のトレーニングに使用することができる。これにより、既存のデータセットの再利用可能性が高められ、ひいては付加的なアノテーションの需要が低減されて、このことにより時間及びコストが節約される。

ただし、この方法はさらに、アノテーションの存在から独立しており、ラベリングされていないデータにも適用することができる。したがって、対象物検出器のトレーニングのために格段に大きいデータ範囲を利用することができ、このことは、対象物検出品質又は対象物検出器の品質及び生成されたトレーニングデータの品質にさらにポジティブに作用する。

こうして、全体として、対象物検出器をトレーニングするための改善された方法が提供される。

ここで、対象物検出器のトレーニングとは、教師あり学習であるものとしてもよく、又は、教師なし学習若しくは半教師あり学習であるものとしてもよい。

この場合、方法はさらに、第２のセンサデータと第１のセンサデータとを比較して第１のコスト関数を算定することと、第１のコスト関数に基づいて対象物検出器をトレーニングすることとを含み得る。

この場合、コスト関数又は損失とは、算定された出力値と、対応する実際の条件又は実際に測定されたデータとの間の損失又はエラーであると理解される。

したがって、センサモデルのモデリング又はセンサの測定特性のモデリングによって生成された第１のコスト関数により、対象物検出器のトレーニングをより所期の通りに制御することができ、この対象物検出器を簡単な手法によりかつわずかなリソース消費によって再トレーニングすることができる。例えば、対象物検出器がこのケースではディープニューラルネットワークに基づく場合には、第１のコスト関数を、ネットワーク層を通してバックプロパゲーションし、対応するネットワーク重みの調整のために利用することができる。

また、方法はさらに、アノテーションを供給するステップと、対象物表現と供給されたアノテーションとを比較して第２のコスト関数を算定するステップと、第２のコスト関数に基づいて対象物検出器をトレーニングするステップとを含み得るものであり、ここで、対象物検出結果は、第１のセンサデータに基づいて対象物検出器によって生成される。

この場合、第２のコスト関数に基づいて対象物検出器を相応に再トレーニングすることによって、対象物検出器を改善又は精細化することができる。例えば、対象物検出器がここではディープニューラルネットワークに基づく場合には、第２のコスト関数を再びネットワーク層によってバックプロパゲーションし、対応するネットワーク重みの調整のために利用することができる。

さらに、対象物表現は、アノテーションあるものとしてよい。ここで、方法はさらに、アノテーションがセンサの可視領域内にあるかどうかを推定するステップを含み得るものであり、アノテーションがセンサの可視領域内にない場合、第１のセンサデータは、破棄される。

センサの可視領域又は視野とは、その内部でイベント又は変化がセンサによって知覚され記録され得る領域であると理解されたい。

さらに、第１のセンサデータの破棄とは、第１のセンサデータと、対象物表現若しくはアノテーションとから成る対が、対象物検出器をトレーニングするためのトレーニングデータとならないこと、又は、対象物検出器のトレーニングに使用されないことを意味する。

したがって、不可視の例えば隠れた対象物の既存のアノテーションを、センサ用の対象物検出器のトレーニングから除外することができる。このことは、対象物検出器の品質にさらにポジティブに作用し得る。

この場合、センサモデルは、人工ニューラルネットワークあるものとしてよい。

人工ニューラルネットワークは、生物学的ニューロンを志向するものであって、既存のトレーニングデータから未知のシステム挙動を学習し、続いて学習されたシステム挙動を未知の入力量にも適用することが可能である。ここで、ニューラルネットワークは、理想化されたニューロンを有する複数の層から成っており、これらの層は、ネットワークのトポロジに従ってそれぞれ異なる形式で相互に接続されている。入力層とも称される第１の層は、この場合、入力値を検出して伝送し、ここで、入力層におけるニューロン数は処理されるべき入力信号数に対応する。最後の層は出力層とも称され、供給される出力値と同数のニューロンを有する。また、入力層と出力層との間には、しばしば隠れ層とも称される少なくとも１つの中間層が設けられており、この場合、中間層数及び中間層内のニューロン数は、ニューラルネットワークによって解決すべき具体的なタスクに依存して定められる。

センサモデルが人工ニューラルネットワークであることにより、第１のセンサの測定特性のモデリングを最適化することができる。ここでは、センサモデルは、センサの既知の実際の又は測定されたセンサデータと、対象物検出器自体によって生成された対応する対象物検出結果又は供給されたアノテーションとに基づいてトレーニングすることができ、この場合、センサモデルは、対象物検出器と同時にトレーニングすることができるが、対象物検出器に依存することなくトレーニングすることもできる。

なお、ここではセンサモデルは人工ニューラルネットワークであるが、これは好ましい実施形態にすぎない。このため、センサモデルは、例えば専門家知識に基づいて生成することもできる。

本発明のさらなる実施形態によれば、自動車の運転者支援システムを制御するための方法も提示され、ここでは、上述した対象物検出器をトレーニングするための方法によってトレーニングされた自動車のセンサ用の対象物検出器が準備され、センサ用の対象物検出器により対象物検出結果が生成され、この対象物検出結果に基づいて運転者支援システムが制御される。

この場合、自動車のセンサ用の対象物検出結果の生成とは、自動車のセンサによって検出されたデータに対して対象物検出が実行されることを意味する。

よって、対象物検出器をトレーニングするための改善された方法に基づいてトレーニングされた対象物検出器に基づく、自動車の運転者支援システムを制御するための方法が提示される。

ここでの対象物検出器をトレーニングするための方法によれば、特定のセンサに基づいてアノテーションされたデータセットを他のセンサのために使用することができる。例えば、ＬｉＤＡＲセンサに基づいて生成されたアノテーションをレーダ対象物検出器のトレーニングのために使用することができる。これにより、既存のデータセットの再利用可能性が高められ、ひいては付加的なアノテーションの需要が低減されて、このことにより時間及びコストが節約される。

なお、対象物検出器をトレーニングするための方法は、アノテーションの存在から独立しており、ラベリングされていないデータにも適用することができる。したがって、対象物検出器のトレーニングのために格段に大きいデータ範囲を利用することができ、このことは、対象物検出品質又は対象物検出器の品質にさらにポジティブに作用する。

本発明のさらなる実施形態によれば、対象物検出器をトレーニングするための制御装置も提示される。ここでは、対象物検出器は、センサのセンサデータにおける対象物を検出するように構成されており、制御装置は、センサの第１のセンサデータを供給するように構成された第１の供給ユニットと、第１のセンサデータに対応付けられた対象物表現を供給するように構成された第２の供給ユニットと、センサのセンサデータに対して対象物表現をマッピングするように構成されているセンサモデルへ対象物表現を伝送する伝送ユニットと、センサモデルによって対象物表現を第２のセンサデータに対応付ける対応付けユニットと、第２のセンサデータに基づいて対象物検出器をトレーニングするように構成されたトレーニングユニットと、を備えている。

したがって、対象物検出器をトレーニングするための改善された制御装置が提示される。

制御装置は、特定のセンサに基づいてアノテーションされたデータセットを他のセンサのために使用することができるように構成されている。例えば、ＬｉＤＡＲセンサに基づいて生成されたアノテーションを、レーダ対象物検出器のトレーニングに使用することができる。これにより、既存のデータセットの再利用可能性が高められ、ひいては付加的なアノテーションの需要が低減されて、このことにより時間及びコストが節約される。

なお、制御装置は、アノテーションの存在から独立しており、ラベリングされていないデータにも適用することができる。したがって、対象物検出器のトレーニングのために格段に大きいデータ範囲を利用することができ、このことは、対象物検出品質又は対象物検出器の品質にさらにポジティブに作用する。

この場合、制御装置はさらに、第２のセンサデータと第１のセンサデータとを比較して第１のコスト関数を算定するように構成された第１の比較ユニットを有し得るものであり、ここで、トレーニングユニットは、第１のコスト関数に基づいて対象物検出器をトレーニングするように構成されている。したがって、センサモデルのモデリング又はセンサの測定特性のモデリングによって生成された第１のコスト関数によって、対象物検出器のトレーニングをより所期の通りに制御することができる。例えば、トレーニングは、センサが例えばその取り付け位置又は組み込み位置に基づいてきわめて良好に測定可能な対象物の特性に集中することができる。これにより、トレーニングされた対象物検出器の品質を大幅に改善することができる。例えば、対象物検出器がこのケースではディープニューラルネットワークに基づく場合には、第１のコスト関数をネットワーク層によってバックプロパゲーションし、対応するネットワーク重みの調整のために利用することができる。

また、制御装置はさらに、アノテーションを供給するように構成された第３の供給ユニットを備え得るものである。ここで、制御装置はさらに、例えば、対象物表現と供給されたアノテーションとを比較して第２のコスト関数を算定するように構成された第２の比較ユニットも備え得るものであり、ここで、トレーニングユニットは、第２のコスト関数に基づいて対象物検出器をトレーニングするように構成されており、第２の供給ユニットは、第１のセンサデータに基づいて対象物検出器により対象物表現を生成するように構成されている。この場合、第２のコスト関数に基づいて対象物検出器を相応にトレーニングすることにより、対象物検出器を改善又は精細化することができる。例えば、対象物検出器がここではディープニューラルネットワークに基づく場合には、第２のコスト関数を再びネットワーク層によってバックプロパゲーションし、対応するネットワーク重みの調整のために利用することができる。

さらに、対象物表現は、供給されたアノテーションあるものとしてよい。ここでは、制御装置はさらに、アノテーションがセンサの可視領域内に位置しているかどうかを推定するように構成された推定ユニットと、アノテーションがセンサの可視領域内に位置していない場合に第１のセンサデータを破棄するように構成された破棄ユニットとを有し得る。したがって、不可視の対象物、例えば隠れた対象物の既存のアノテーションを、対象物検出器のトレーニングから除外することができる。このことも、トレーニングされた対象物検出器の品質にさらにポジティブに作用する。

この場合も、センサモデルは、人工ニューラルネットワークあるものとしてよい。

センサモデルが人工ニューラルネットワークであることにより、センサの測定特性のモデリングを最適化することができる。ここでは、センサモデルを、センサの既知の実際の又は測定されたセンサデータと、対象物検出器自体によって生成された対応する対象物検出結果又は供給されたアノテーションとに基づいてトレーニングすることができ、この場合、センサモデルは、対象物検出器と同時にトレーニングすることも、対象物検出器に依存することなくトレーニングすることもできる。

なお、ここでは、センサモデルは人工ニューラルネットワークであるが、これは好ましい実施形態にすぎない。このため、センサモデルは、例えば、専門家知識に基づいて生成することもできる。

本発明のさらなる実施形態によればさらに、自動車の運転者支援システムを制御するための制御装置も提示される。当該制御装置は、上述した自動車のセンサ用の対象物検出器をトレーニングするための制御装置によってトレーニングされた対象物検出器を受信する受信ユニットと、自動車のセンサ用の対象物検出器によって対象物検出結果を生成するように構成された生成ユニットと、生成された対象物検出結果に基づいて運転者支援システムを制御するように構成された制御ユニットとを備えている。

このように、対象物検出器をトレーニングするための改善された制御装置によりトレーニングされた対象物検出器に基づいて運転者支援システムを制御するように構成された、運転者支援システムを制御するための制御装置が提示される。

対象物検出器をトレーニングするための制御装置は、ここでは、特定のセンサに基づいてアノテーションされたデータセットを他のセンサのために使用できるように構成されている。例えば、ＬｉＤＡＲセンサに基づいて生成されたアノテーションをレーダ対象物検出器のトレーニングに使用することができる。これにより、既存のデータセットの再利用可能性が高められ、ひいては付加的なアノテーションの需要が低減されて、このことにより時間及びコストが節約される。

なお、また、対象物検出器をトレーニングするための制御装置は、アノテーションの存在から独立しており、ラベリングされていないデータに適用することも可能である。したがって、対象物検出器のトレーニングのために格段に大きいデータ範囲を利用することができ、このことは、対象物検出品質又は対象物検出器の品質にさらにポジティブに作用する。

要約すると、本発明により、最適化された対象物検出器を生成することのできる、対象物検出器をトレーニングするための方法及び制御装置が提示されることが理解される。

記載の各構成及び各発展形態は、任意に相互に組み合わせることができる。

本発明の他の可能な構成、発展形態及び実現形態には、実施例に関して上述した又は下述する本発明の特徴の、明示的には言及しない組合せも含まれる。

添付の図面は、本発明の各実施形態のさらなる理解を提供するためのものである。これらの図面は各実施形態を示しており、本発明の基本方式及びコンセプトの説明に関連して利用される。

他の実施形態及び上述の利点の多くが図面に関連して得られる。図面に示されている各要素は必ずしも相互に縮尺通りに示されていない。

第１の実施形態による、対象物検出器をトレーニングするための方法のフローチャートである。 第２の実施形態による、対象物検出器をトレーニングするための方法のフローチャートである。 本発明の実施形態による、対象物検出器をトレーニングするためのシステムを示すブロック図である。

図面の各図において、同一の又は同様の機能を有する要素、部材又は部品には、別段の記載がない限り、同一の符号を付してある。

図１には、第１の実施形態による、対象物検出器１をトレーニングするための方法のフローチャートが示されている。

起点は、センサデータに基づいて少なくとも１つの対象物クラスに関する対象物を検出する対象物検出器である。検出は、この場合、どのような種類の対象物であるかの分類と、対応する対象物パラメータの回帰との双方を含み得る。

第１の実施形態によれば、ここでの目的は、典型的にはアノテーションが存在しないセンサのセンサデータに基づき、こうした対象物検出器をトレーニングすることである。この一例として、反射量を測定データとして利用するレーダセンサが挙げられる。しかし、反射量に基づいて対象物にアノテーションすることは困難であるので、レーダに基づく対象物検出器のトレーニングのために、多くの場合、ＬｉＤＡＲに基づくアノテーションが使用される。

ただし、この場合、測定方式、センサ仕様又はセンサの取り付け位置若しくは組み込み位置がそれぞれ異なるため、ＬｉＤＡＲに基づくアノテーションを１対１でレーダセンサへ移行させることはできない。したがって、例えば種々の到達距離又は視野領域によって、アノテーションの適性が制限され得る。同様に、アノテーションされたいくつかの対象物特性は、目的のセンサの測定方式、例えばレーダセンサの測定方式によって測定不能となることがある。ここで、典型的には、ＬｉＤＡＲに基づくアノテーションはアノテーションされた対象物の高さを含むが、これに対し多くのレーダセンサは制限された高さ分解能しか有さない。

ここで、図１は、方法１を示しており、当該方法は、トレーニングデータを用いて、センサのセンサデータにおける対象物を検出するように構成された対象物検出器をトレーニング又は事前トレーニングするステップ２と、センサの第１のセンサデータを供給するステップ３と、第１のセンサデータに対応付けられた対象物表現を供給するステップ４と、センサのセンサデータに対して対象物表現をマッピングするように構成されているセンサモデルへ対象物表現を伝送するステップ５と、対象物表現を第２のセンサデータに対応付けるステップ６と、第２のセンサデータに基づいて対象物検出器をトレーニングするステップ７と、を有している。

図示されている方法１は、この場合、特定のセンサに基づいてアノテーションされたデータセットを他のセンサのために使用することを可能にする。例えば、ＬｉＤＡＲセンサに基づいて生成されたアノテーションを、レーダ対象物検出器のトレーニングに使用することができる。これにより、既存のデータセットの再利用可能性が高められ、ひいては付加的なアノテーションの需要が低減されて、このことによって時間及びコストが節約される。

ただし、図示されている方法１はまた、アノテーションの存在から独立しており、ラベリングされていないデータにも適用可能である。したがって、例えば、第２のセンサ用の対象物検出器のトレーニングのために格段に大きいデータ範囲を利用することができ、このことは、対象物検出品質又は対象物検出器の品質にさらにポジティブに作用する。

このように、全体として図１は、センサ１用の対象物検出器をトレーニングするための改善された方法を示している。

特に図１には、センサモデルが目的のセンサの測定特性を記述し、データセットの既存のアノテーションの伝送を支援する、センサモデルを使用する方法１が示されている。

この場合、センサモデルは特に、供給された対象物表現に基づいて、例えば第１のセンサデータ用の対象物検出器の判別又は供給されたアノテーションに基づいて、センサにつき予測される測定値を算定するように構成されている。この場合、センサモデルは、例えばセンサの測定値の予測される位置にわたって確率密度を供給するように構成可能である。確率密度は、この場合、例えばパラメトリック密度関数、例えば多変量ガウス分布によって記述することができ、必ずしも測定値の予測される位置に限定されない。むしろ、密度関数は、別の次元、例えばレーダセンサの場合の半径方向速度に関するものを含むこともあり得る。

ただし、センサモデルはさらに、例えば離散的な近似によって、例えばグリッド表現によっても記述することができ、又は、センサの対応する測定値に対する具体的な値を算定するように構成することができ、ここで、センサモデルは、例えばレーダセンサの場合において予測される反射量のリスト、又は、ＬｉＤＡＲセンサの場合においては３Ｄ点群を有し得る。

図１にさらに示されているように、この場合、第２のセンサデータに基づいて対象物検出器をトレーニングするステップ７は、第２のセンサデータと第１のセンサデータとを比較して第１のコスト関数又は第１の損失を算定するステップ８と、第１のコスト関数に基づいて対象物検出器をトレーニングするステップ９とを有する。

第１の実施形態によれば、センサモデルは、ここでは微分可能であり、センサモデルは、供給された対象物表現に基づいて、センサモデルに基づいて予測されるセンサ値と実際の条件又は値とを比較する。対象物検出器による対象物検出におけるエラーによって、実際の値とは異なる予測されるセンサ値が生じる。ここで、当該差に基づいて計算された第１のコスト関数を対象物検出器の出力端へ伝送し、対象物検出器の再トレーニングのために使用することができる。

ここで、センサモデルが人工ニューラルネットワークである場合、対応する損失関数は、例えば現実のセンサ測定値の負の対数尤度である。これに対して、センサモデルが具体的なセンサ測定値を予測する場合には、予測されたセンサ測定値と実際のセンサ測定値との間の距離、例えばユークリッド距離又はマハラノビス距離を損失として用いることができる。

第１の実施形態によれば、ここでの対象物表現はさらに、第１のセンサデータに基づいて対象物検出器によって生成された対象物検出結果であり、方法１はさらに、アノテーションを供給するステップ１０と、対象物検出結果と供給されたアノテーションとを比較して第２の損失又は第２のコスト関数を算定するステップ１１と、第２のコスト関数に基づいて対象物検出器を再トレーニングするステップ１２と、を有する。

このように、対象物検出器のトレーニングのために、対象物検出器の出力と利用可能なアノテーションとが比較される。次いで、この比較に基づいて第２のコスト関数が算定され、この第２のコスト関数が対象物検出器の再トレーニングに使用され、例えば、対象物検出器のネットワーク層によってバックプロパゲーションされて、対応するネットワーク重みの調整のために利用可能となる。

第１の実施形態によれば、さらに、センサモデルは人工ニューラルネットワークである。この場合、センサモデルは、対象物検出器と同時にトレーニングすることができる。ただし、センサモデルを例えば事前トレーニングすることも可能である。

ここで、第１のセンサ用の対象物検出器を、続いて、例えば自動車の運転者支援システムの制御、例えば自律運転型自動車の運転者支援システムの制御のために使用することができる。

また、トレーニングされたセンサモデルを、対象物検出器から独立して、さらに他の用途のために、例えば対象物の追跡のため又はセンサデータのシミュレーションのために、利用することもできる。

図２には、第２の実施形態による対象物検出器２０をトレーニングするための方法のフローチャートが示されている。

図２に示されているように、方法２０はここでも同様に、トレーニングデータを用いて、センサのセンサデータにおける対象物を検出するように構成された対象物検出器をトレーニングするステップ２１と、センサの第１のセンサデータを供給するステップ２２と、第１のセンサデータに対応付けられた対象物表現を供給するステップ２３と、センサのセンサデータに対して対象物表現をマッピングするように構成されているセンサモデルへ対象物表現を伝送するステップ２４と、対象物表現を第２のセンサデータに対応付けるステップ２５と、第２のセンサデータに基づいて対象物検出器をトレーニングするステップ２６と、を含む。

図２に示されている第２の実施形態による方法と図１に示されている第１の実施形態による方法との間の相違点は、第２の実施形態では対象物表現が供給されたアノテーションであり、そこでは、方法はさらに、供給されたアノテーションが第１のセンサの可視領域内に位置しているかどうかを推定するステップ２７を含み、ここで、供給されたアノテーションがセンサの可視領域内に位置していない場合、第１のセンサデータがステップ２８において破棄されることにある。

図３には、本発明の実施形態による、対象物検出器３０をトレーニングするための制御装置のブロック図が示されている。

対象物検出器は、ここでは特に、センサのセンサデータにおける対象物を検出するように構成されている。

図３に示されているように、対象物検出器をトレーニングするための制御装置は、ここでは、対象物検出器をトレーニングデータに基づいて事前トレーニングするように構成された第１のトレーニングユニット３１と、センサの第１のセンサデータを供給するように構成された第１の供給ユニット３２と、第１のセンサデータに対応付けられた対象物表現を供給するように構成された第２の供給ユニット３３と、センサのセンサデータに対して対象物表現をマッピングするように構成されているセンサモデルへ対象物表現を伝送するように構成された伝送ユニット３４と、センサモデルによって対象物表現を第２のセンサデータに対応付ける対応付けユニット３５と、第２のセンサデータに基づいて対象物検出器を再トレーニングするように構成された第２のトレーニングユニット３６とを含む。

ここで、第１のトレーニングユニット、対応付けユニット、及び、第２のトレーニングユニットは、それぞれ、例えばメモリに格納されプロセッサによって実行可能なコードに基づいて実現することができる。第１の供給ユニットは、例えば、センサにより例えばその時点で検出された、及び／又は、メモリ内に格納されているセンサデータを受信するように構成された受信機に基づいて実現することができる。第２の供給ユニットは、例えば、対象物検出器により第１のセンサデータに基づいて生成された対象物検出結果、及び／又は、例えば他のセンサから供給されるアノテーションを受信するように構成された受信機に基づいて実現することができる。さらに、伝送ユニットは、例えば、相応に構成された送信機あるものとしてよい。

ここで、図３の実施形態によれば、制御装置３０はさらに、第２のセンサデータと第１のセンサデータとを比較して第１のコスト関数を算定するように構成された第１の比較ユニット３７を備えており、この場合、第２のトレーニングユニット３６は、第１のコスト関数に基づいて対象物検出器をトレーニングするように構成されている。

ここで、比較ユニットは、例えば、この場合にもメモリに格納されていてプロセッサによって実行可能なコードに基づいて実現可能である。

さらに、アノテーションを供給するように構成された第３の供給ユニット３８も見て取れる。

この場合、制御装置３０はさらに、対象物表現が第１のセンサデータに基づいて対象物検出器により生成された場合に、対象物表現と供給されたアノテーションとを比較して第２のコスト関数を算定するように構成された第２の比較ユニット３９も備えている。ここで、再トレーニングユニット３６は、第２のコスト関数に基づいて対象物検出器をトレーニングするように構成されている。

ここで、第３の供給ユニット３８は、第２の供給ユニットに統合されているものとしてもよく、対応する受信機を有するものとしてもよい。第２の比較ユニットはさらに、例えばメモリに格納されプロセッサによって実行可能なコードに基づいて実現可能である。

図示されている制御装置３０はさらに、対象物表現として供給されたアノテーションがセンサの可視領域内に位置しているかどうかを推定するように構成された推定ユニット４０と、アノテーションがセンサの可視領域内に位置していない場合に第１のセンサデータ又は対応する対象物表現を破棄するように構成された破棄ユニット４１とを備えている。

推定ユニット及び破棄ユニットは、ここでもそれぞれ、例えばメモリに格納されプロセッサによって実行可能なコードに基づいて実現することができる。

図３の実施形態によれば、さらに、センサモデルは、人工ニューラルネットワークである。

Claims (10)

1. センサのセンサデータにおける対象物を検出するように構成されている対象物検出器をトレーニングするための方法であって、
   ・前記センサの第１のセンサデータを供給するステップ（３，２２）と、
   ・前記第１のセンサデータに対応付けられた対象物表現を供給するステップ（４，２３）と、
   ・前記センサのセンサデータに対して前記対象物表現をマッピングするように構成されたセンサモデルへ前記対象物表現を伝送するステップ（５，２４）と、
   ・前記センサモデルによって前記対象物表現を第２のセンサデータに対応付けるステップ（６，２５）と、
   ・前記第２のセンサデータに基づいて前記対象物検出器をトレーニングするステップ（７，２６）と、
   を含む方法。
2. 前記第２のセンサデータに基づいて前記対象物検出器を再トレーニングするステップ（７）は、
   ・前記第２のセンサデータと前記第１のセンサデータとを比較して、第１のコスト関数を算定するステップ（８）と、
   ・前記第１のコスト関数に基づいて前記対象物検出器をトレーニングするステップ（９）と、
   を含む、請求項１に記載の方法。
3. 前記対象物表現は、供給されるアノテーションである、請求項１又は２に記載の方法。
4. 前記センサモデルは、人工ニューラルネットワークである、請求項１乃至３のいずれか一項に記載の方法。
5. 自動車の運転者支援システムを制御するための方法において、
   ・自動車のセンサ用の対象物検出器を準備するステップであって、前記自動車のセンサ用の対象物検出器は、請求項１乃至４のいずれか一項に記載の対象物検出器をトレーニングするための方法によってトレーニングされている、ステップと、
   ・前記自動車のセンサ用の対象物検出器によって対象物検出結果を生成するステップと、
   ・前記対象物検出結果に基づいて運転者支援システムを制御するステップと、
   を含む方法。
6. センサのセンサデータにおける対象物を検出するように構成されている対象物検出器をトレーニングするための制御装置であって、
   前記センサの第１のセンサデータを供給するように構成された第１の供給ユニット（３２）と、
   前記第１のセンサデータに対応付けられた対象物表現を供給するように構成された第２の供給ユニット（３３）と、
   前記センサのセンサデータに対して前記対象物表現をマッピングするように構成されているセンサモデルへ前記対象物表現を伝送するように構成された伝送ユニット（３４）と、
   前記センサモデルによって前記対象物表現を第２のセンサデータに対応付けるように構成された対応付けユニット（３５）と、
   前記第２のセンサデータに基づいて前記対象物検出器をトレーニングするように構成されたトレーニングユニット（３６）と、
   を備えている制御装置。
7. 前記制御装置はさらに、前記第２のセンサデータと前記第１のセンサデータとを比較して第１のコスト関数を算定するように構成されている第１の比較ユニット（３７）を備えており、
   前記トレーニングユニット（３６）は、前記第１のコスト関数に基づいて前記対象物検出器をトレーニングするように構成されている、
   請求項６に記載の制御装置。
8. 前記対象物表現は、供給されるアノテーションである、請求項６又は７に記載の制御装置。
9. 前記センサモデルは、人工ニューラルネットワークである、請求項６乃至８のいずれか一項に記載の制御装置。
10. 自動車の運転者支援システムを制御するための制御装置であって、
    請求項６乃至９のいずれか一項に記載の対象物検出器をトレーニングするための制御装置によってトレーニングされた、自動車のセンサ用の対象物検出器を受信するための受信ユニットと、
    前記自動車のセンサ用の対象物検出器によって対象物検出結果を生成するように構成されている生成ユニットと、
    生成された対象物検出結果に基づいて前記運転者支援システムを制御するように構成されている制御ユニットと、
    を備えている制御装置。