JP2022040099A - 機械学習によるレーダデータの増加及び処理 - Google Patents

機械学習によるレーダデータの増加及び処理 Download PDF

Info

Publication number
JP2022040099A
JP2022040099A JP2021139023A JP2021139023A JP2022040099A JP 2022040099 A JP2022040099 A JP 2022040099A JP 2021139023 A JP2021139023 A JP 2021139023A JP 2021139023 A JP2021139023 A JP 2021139023A JP 2022040099 A JP2022040099 A JP 2022040099A
Authority
JP
Japan
Prior art keywords
source
target
radar
tensor
radar data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021139023A
Other languages
English (en)
Inventor
ユンギンガー アンドレイ
Junginger Andrej
ヨハネス エクスレ ミヒャエル
Johannes Oechsle Michael
シュトラウス ティロ
Strauss Thilo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2022040099A publication Critical patent/JP2022040099A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4052Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414Discriminating targets with respect to background clutter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ソースコンフィギュレーションのレーダデータをターゲットコンフィギュレーションのレーダデータに変換するための方法【解決手段】グリッドセル32aのソースアレイ32をソース反射位置31の座標に対して提供するステップ110と、総てのソース反射位置31からグリッドセル32a内にソース反射位置31が位置する確率/頻度32bを割り当てるステップ120と、ソースアレイ32を含むソーステンソル33を形成するステップ130と、ソーステンソル33をターゲットテンソル53に変換するステップ140であって、ターゲットアレイ52は、各グリッドセル52aに対してシーンの観察時に得られるターゲット反射位置51が位置する確率/頻度52bを示すステップ140と、ターゲットアレイ52における確率/頻度52bに基づきターゲット反射位置51の座標をサンプリングしてターゲットレーダデータ5が発生するステップ150とを含む。【選択図】図1

Description

本発明は、既に存在するレーダデータから実際のレーダデータを生成すること、及び、概して、機械学習によるレーダデータの処理に関する。
従来技術
車両を、少なくとも部分的に自動的に、道路交通において走行させることを可能にするために、車両の周辺環境において対象物と衝突する危険がある場合、車両の周辺環境を検出して、対抗措置を講じることが必要である。周辺環境の描写及び位置特定も、安全な自動走行にとって必要である。
レーダによる対象物の検出は、光の状況とは無関係に、例えば夜間に、比較的離隔していても行うことが可能であり、この際に、対向交通がハイビームによって幻惑されることがない。さらに、レーダデータから直接的に、対象物までの距離及び対象物の速度が明らかになる。このような情報は、対象物との衝突が発生し得るか否かを判断するために重要である。しかし、対象物がどのようなタイプのものであるのかは、レーダ信号から直接的には識別されない。このような識別は、今日、デジタル信号処理による属性の算出によって行われる。
独国特許発明第102018204494号明細書
トレーニング済みの機械学習モデル、例えばニューラルネットワークは、ここで、特に対象物識別にとって重要な役割を果たす。このようなモデルをトレーニングするために、トレーニングデータが必要である。多くの場合、トレーニングデータは、テスト走行において記録され、その後、トレーニングデータによって、観察された各シーンに実際に含まれる対象物に注釈が付けられる(「ラベル付けがされる」)。このラベル付けは、多くの手作業を必要とし、相応の費用がかかる。独国特許発明第102018204494号明細書は、ジェネレータを開示しており、ジェネレータによって、トレーニングデータの所与のストックを拡張して、合成レーダデータを含めることができる。
発明の開示
本発明の範囲において、ソースレーダデータをターゲットレーダデータに変換するための方法が開発された。ソースレーダデータは、レーダシステムのソースコンフィギュレーションによるシーンの観察によって得られたレーダデータである。ターゲットレーダデータは、レーダシステムのターゲットコンフィギュレーションによる同様のシーンの観察時に予期されるレーダデータである。レーダシステムのソースコンフィギュレーションも、ターゲットコンフィギュレーションも、それぞれ、レーダビームの少なくとも1つの送信側と受信側とを含み、付加的に、さらなるパラメータによって、例えば、送信側及び/又は受信側の設定によって、特徴付けられ得る。
この際に、ソースコンフィギュレーションは、ターゲットコンフィギュレーションと同一であるものとしてよい。このような場合には、レーダシステムのコンフィギュレーションに対するレーダデータの所与のストックを拡張して、実際の合成レーダデータを含めることができ、これは、例えば、冒頭において述べたジェネレータによって実行することが可能である。
しかし、本発明に係る方法においては、レーダシステムのソースコンフィギュレーションによって記録されたソースレーダデータを起点として、ターゲットレーダデータを得ることもできる。ターゲットレーダデータは、同等の又は相違するレーダシステムの全く異なるターゲットコンフィギュレーションによる同様のシーンの観察時に実際に予期されるものである。このようにして、既にラベル付けもされている可能性のあるレーダデータの同一の所与のストックが、例えば、対象物識別のためのトレーニングデータとして、レーダシステムの任意の新たなターゲットコンフィギュレーションによって再使用される。これによって、さらなるレーダデータの物理的な記録にかかる多大なコストが節約される。レーダシステムが車両に積載されている場合には、特に、例えば、さらなるテスト走行を実行するための付加的なコストを格段に低減することができる。
例えば、既に極めて多くのテスト走行が、車両の特定の箇所に取り付けられたレーダセンサによって実行される時点においては、このレーダセンサが将来的に車両の他の箇所に取り付けられるべきかを判断することができる。これによって、レーダセンサの記録特徴が変化する。特に、観察可能な視野及び視点が変化する。これまでのところ、先行するテスト走行において記録されたレーダデータを、センサの新たな位置から記録されたレーダデータに基づいて対象物識別又は他の評価をトレーニングするために使用することはできず、トレーニングデータの記録を再び最初から開始しなければならない。
これまでのところ、他の製造業者の車両内にレーダセンサを組み込むことも、事前にトレーニング目的で記録されてきたレーダデータが利用不可能になるという結果をもたらしてしまう。レーダセンサは、総てのエンドカスタマに視覚的に良い印象を与えるわけではないので、多くの場合、車両製造業者のエンブレムの後ろに構築される。このようなエンブレムを通過する際に、レーダビームは影響を受け、製造業者のエンブレムが他の製造業者のエンブレムと交換される場合には、このような影響が変化する。従って、第1のエンブレムの後方において記録されたレーダデータは、第2のエンブレムの後方において記録されたレーダデータと、限定的にしか比較することができなかった。本発明に係る方法によって、このような信号変化を人工的に生成することができ、第1のエンブレムの後方において記録されたトレーニングデータのストックを、第1のエンブレムが第2のエンブレムと交換された後においても再使用することができる。
全般的に、ソースレーダデータ又はターゲットレーダデータは、少なくとも、ソース反射位置又はターゲット反射位置の位置座標を含む。ソース反射位置又はターゲット反射位置から、反射されたレーダビームがレーダシステムに入射する。この方法の範囲においては、最初に、グリッドセルの2次元以上の次元のソースアレイがソース反射位置の位置座標に対して提供される。総てのソース反射位置の位置座標から、各グリッドセルに対して、このグリッドセル内に1つ又は複数のソース反射位置が位置する確率及び/又は頻度が求められ、各グリッドセルに割り当てられる。少なくとも、この確率及び/又は頻度によって占有されたソースアレイを含むソーステンソルが形成される。
このために、例えば、ソース反射位置を中心に所定の半径を有する円又は球に、1の占有確率を割り当てることができる。次に、円の面積又は球の体積が分配されるソースアレイの総てのグリッドセルに、面積の比率又は体積の比率に応じて、このような占有確率を分配することができる。
レーダビームによる観察の特別な物性が、レーダデータの不確実性をもたらすことが判明している。例えば、カメラ又はライダーによる光学的な観察は、結像されるべき構造体と比較して極めて短波のビームを使用するので、極めて鮮明な画像を提供する。これと比較して、レーダビームは、格段に長波であるので、ビームの波動特性が顕著に現れ、測定された反射は、主に確率論的性質を有する。
具体的には、これは、レーダ反射が、
・時間の経過と共に変動する、即ち、連続する個々の測定において現れ、その後、再び消滅し、
・空間的に変動する、即ち、そこからレーダビームが発生するように見える位置の位置座標が変動し、変化する。
従って、周辺環境の実際の画像は、レーダ測定から、ひいては典型的には、多数のレーダ測定を介してのみ、個々の測定の平均値及び/又は重畳として得ることができる。
このような不確実性は、ソーステンソルにおいて大部分が抑制される。なぜなら、このようなソーステンソルは、レーダデータの確率分布を特徴付けるパラメータを含むからである。従って、ソーステンソルは、実質的に、同様に空間的にのみ変化する、時間に関連しない伝達関数による、観察されたシーンからの空間的な情報の処理の結果を含む。
ソーステンソルは、ここで、ターゲット反射位置の位置座標に対して、グリッドセルの少なくとも1つのターゲットアレイを含むターゲットテンソルに変換される。このようなターゲットアレイは、各グリッドセルに対して、この各グリッドセル内に、ターゲットコンフィギュレーションによるシーンの観察時に得られるターゲット反射位置が位置する確率及び/又は頻度を示す。ターゲットアレイにおけるこの確率及び/又は頻度に基づいて、ターゲット反射位置の位置座標がサンプリングされ、ターゲットレーダデータが発生する。
コンフィギュレーションが1つだけ使用され、このコンフィギュレーションに対して存在するレーダデータのストックが拡張される、冒頭に挙げた簡単なケースにおいては、ソースコンフィギュレーションは、ターゲットコンフィギュレーションと同一であり、ソーステンソルは、ターゲットテンソルと同一のものとして引き継がれる。この場合には、厳密に、元来のレーダデータに基づいて求められた確率分布から、新たなサンプルが得られる。
これに対して、ソースコンフィギュレーションとターゲットコンフィギュレーションとが同一でない場合には、求められるターゲット反射位置は、同様に、空間的であり、時間に関連しない伝達関数を介してターゲットテンソルと関連する。ソーステンソルとターゲットテンソルとの間の関係は、この場合には、ソースコンフィギュレーションとターゲットコンフィギュレーションとの間の差によって理由付けされ、同様に時間に関連する。それにもかかわらず、通常、このような関係には、統一された定義付けは、存在しない。しかし、ソーステンソルからターゲットテンソルへの経路は、機械学習に公開される。即ち、ソーステンソルを、トレーニング済みの機械学習モデルによって、ターゲットテンソルへと変換することができる。機械学習モデルは、同様に、ソースコンフィギュレーションに関連するレーダデータ及びターゲットコンフィギュレーションに関連するレーダデータによってトレーニングされる。
ここで、このようなトレーニングに必要なトレーニングデータの量は、特定のアプリケーションにおいて、通常、ターゲットレーダデータに変換すべきソースレーダデータの量に比較して少ない。即ち、このような量のソースレーダデータが提供され、少なくとも同等の量のターゲットレーダデータが必要とされる場合には、トレーニングデータを調達し、かつ、ソーステンソルをターゲットテンソルに変換し、従って、最終的にソースレーダデータからターゲットレーダデータへ導く、その後の機械学習モデルのトレーニングにかかるコストは、求められるターゲットレーダデータの直接的な測定技術による調達にかかるコストよりも格段に少ない。さらに、ソースコンフィギュレーションからターゲットコンフィギュレーションへのさらなるレーダデータの変換にも、機械学習モデルを、何度も使用することができる。
上述したように、ソースコンフィギュレーションとターゲットコンフィギュレーションとは、特に、例えば、少なくとも以下の点に関して異なるものとしてよい。即ち、
・2つのコンフィギュレーションは、異なるレーダセンサを含む、及び/又は、
・これらのレーダセンサは、2つのコンフィギュレーションにおいて、空間的に異なって配置される、及び/又は、
・2つのコンフィギュレーションにおいて、レーダビームは、少なくとも1つのレーダセンサと観察されるシーンとの間に配置される材料によって異なる態様で影響される。
従って、ここで提示された方法は、コンフィギュレーションのこのような交換が、この交換の前に既に取得されていたレーダデータのストックを「無効」にしないという作用を有する。その代わりに、このような交換に対して特別にトレーニングされた機械学習モデルが調達されるものとするとよく、又は、このようなモデルがトレーニングされるものとするとよい。
これは逆に、事前に取得されていたレーダデータの「無効化」が、コンフィギュレーションの目指される交換に対する重要な論拠ではなくなったことを意味する。例えば、車両用の新たなレーダセンサが、これまで使用されていたレーダセンサと比較して格段に良い質のレーダデータを提供することが明らかな場合に、それにもかかわらず、古いレーダセンサを用いて、これまで実行されてきた総てのテスト走行を繰り返すことは、このような切り替えに対する高い代償になる可能性があり、総てを考慮に入れると、切り替えは経済的ではなくなる。このような代償が著しく低減される場合には、これは、切り替えを阻害するものではない。
特に有利な構成においては、機械学習モデルは、エンコーダとデコーダとを備えるエンコーダ・デコーダ装置を含み、エンコーダは、ソーステンソルを、次元が低減された表現に写し取り、デコーダは、このような表現をターゲットテンソルに写し取る。このような装置は、次のようにトレーニングされる。即ち、エンコーダが、この表現へのソーステンソルの圧縮時に、実質的に、ソースコンフィギュレーションの詳細を省略し、明示的に定式化された条件では捉え難い、観察されたシーンに関する極めて重要な情報を得るようにトレーニングされる。デコーダは逆に、圧縮された表現にターゲットコンフィギュレーションの詳細を付加し、このようにしてターゲットテンソルを生成する。
他の特に有利な構成においては、機械学習モデルは、敵対的生成ネットワークGANのジェネレータを含む。このようなジェネレータは、ソースコンフィギュレーションに関するソーステンソルからターゲットテンソルを生成するようにトレーニングされる。このターゲットテンソルは、実際に測定されたターゲットレーダデータから、ソースレーダデータからソーステンソルが生成されるのと同様に生成されたターゲットテンソルとは区別されず又は区別することが困難である。このようなトレーニングは、弁別器と連携して実行可能であり、この弁別器は、ソーステンソルから生成されたターゲットテンソルを、実際に測定されたターゲットレーダデータから生成されたターゲットテンソルと区別するようにトレーニングされる。ジェネレータと弁別器とは、共にGANを形成する。これがCycleGANである場合には、次のような場合にも、トレーニングが行われる。即ち、ソースコンフィギュレーションによって測定された多くのソースレーダデータ及びターゲットコンフィギュレーションによって測定された多くのターゲットレーダデータが提供されるが、同様のシーンに関するソースレーダデータとターゲットレーダデータとの対が提供されない場合においても、トレーニングが行われる。
上述した、ソースレーダデータからのソーステンソルの形成は、レーダシステムのソースコンフィギュレーション又はターゲットレコンフィギュレーションによって実際に測定されたレーダデータと同様に使用可能な新たなレーダデータを生成するために適するだけではない。むしろ、ソースレーダデータをソーステンソルにおける確率及び/又は頻度の分布として表すことは、一般的に、ソースレーダデータの評価、例えば、対象物識別又はクラスへの他の割当てを、レーダ反射の確率論的変動からシールドするために有利である。
従って、本発明は、レーダシステムのソースコンフィギュレーションによるシーンの観察によって得られたソースレーダデータをニューラルネットワークによって処理するための方法にも関する。ソースレーダデータは、少なくとも、ソース反射位置の位置座標を含み、反射されたレーダビームは、ソース反射位置からレーダシステムへ入射する。
この方法においては、ソース反射位置の位置座標に対するグリッドセルの2次元以上の次元のソースアレイが提供される。総てのソース反射位置の位置座標から、各グリッドセルに対して、このグリッドセル内に1つ又は複数のソース反射位置が位置する確率及び/又は頻度が求められ、各グリッドセルに割り当てられる。少なくとも、この確率及び/又は頻度によって占有されたソースアレイを含むソーステンソルが形成される。このようなソーステンソルが、ニューラルネットワークに供給される。
このようにして、ソースレーダデータに伴う不確実性が、ニューラルネットワークによって提供される結果に影響を与えることがなくなる。従って、全体的なシステムがより確実になる。この全体的なシステムは、最初にソースレーダデータを記録し、このソースレーダデータを処理して結果にし、この結果に基づいて、例えば、車両を駆動制御する。
例えば、ソーステンソルを、ニューラルネットワークによって、所定のクラス分けの1つ又は複数のクラスに写し取ることができる。このようなクラスは、例えば、その存在がソースレーダデータを示す対象物を表す。しかし、これらのクラスが、例えば、交通状況を表すものとしてもよく、このような交通状況には、車両が存在しており、この車両から、ソースレーダデータが検出される。
これによって、特に、例えば、ニューラルネットワークによって供給されたアウトプットから、車両用の駆動制御信号を形成することができ、車両をこのような駆動制御信号によって駆動制御することができる。
ソーステンソルから最終的に、新たな実際のターゲットレーダデータ又は他の処理結果が生成されるか否かに拘わらず、ソーステンソル及び場合によりターゲットテンソルは、それぞれ割当てを含み得、この割当ては、ソースレーダデータ又はターゲットレーダデータから導出可能な少なくとも1つの他の付加的なパラメータの、ソースアレイ又はターゲットアレイのグリッドセルへの割当てである。
これらの付加的なパラメータは、特に、例えば、
・ソースレーダシステムとソース反射位置との間若しくはターゲットレーダシステムとターゲット反射位置との間の間隔、及び/又は、
・レーダビームがソースレーダシステム若しくはターゲットレーダシステムに入射する角度、及び/又は、
・レーダビームが反射された対象物の速度、及び/又は、
・レーダビームが反射された対象物の、所定のクラス分けの1つ又は複数のクラスへの属性、及び/又は、
・反射されたレーダビームの信号強度
を含み得る。
ソーステンソルから直接的に、ニューラルネットワークによって、処理結果が求められる場合には、付加的なパラメータの値を、例えば、対象物の識別時の曖昧さを解消するために使用することができる。例えば、付加的なパラメータの1つが、特定のソースレーダ反射が属する対象物が、自主的に、特定の速度において移動していることを示す場合、このような対象物は、交通標識又は同様の固定的に取り付けられている対象物ではあり得ない。
ソーステンソルからターゲットテンソルが求められ、ターゲットテンソルから同様にターゲットレーダデータが求められる場合には、ターゲットアレイへのソースアレイの変換と共に、グリッドセルへの付加的なパラメータの値の割当てが、ソースコンフィギュレーションからターゲットコンフィギュレーションへの変化時にどのように変化するかも学習され得る。
例えば、ターゲットコンフィギュレーションにおけるレーダセンサが、ソースコンフィギュレーションにおけるのとは異なる視点からシーンを観察する場合、ターゲットレーダデータは、ソースレーダデータとは異なる、対象物の速度成分に対する情報を供給する。例えば、ターゲットコンフィギュレーションにおけるレーダセンサがターゲット反射位置を見る角度も、ソースコンフィギュレーションにおけるレーダセンサがソース反射位置を見る角度に対して変更される。
これは、特に、例えば、次のことによって写し取られる。即ち、特に有利な構成において、具体的なターゲット反射位置のサンプリングに寄与した、ターゲットアレイの1つ又は複数のグリッドセルに対する付加的なパラメータの1つ又は複数の値から、付加的なパラメータの新たな値が形成されて、ターゲットレーダデータにおいてターゲット反射位置に割り当てることによって写し取られる。
全般的に、ソーステンソルにおける付加的なパラメータとのソースアレイの一括化は、もともと画像を処理するために設計された機械学習モデルの再使用を容易にする。いくつかのカラーチャネルを有する画像は、同様に、ソーステンソルに対して極めて類似の設計を有するテンソルとして表される。
この方法は、特に、完全に又は部分的にコンピュータ実装されるものとしてよい。従って、本発明は、機械可読命令を備えるコンピュータプログラムにも関しており、機械可読命令が1つ又は複数のコンピュータ上において実行されるときに、機械可読命令は、1つ又は複数のコンピュータに、記載された方法の1つを実施させる。このような意味においては、同様に機械可読命令を実行し得る車両用の制御装置及び技術的な装置用の組込みシステムも、コンピュータとしてみなされる。
同様に、本発明は、このようなコンピュータプログラムを備える機械可読データ担体及び/又はダウンロード製品にも関する。ダウンロード製品は、データネットワークを介して伝送可能な、即ち、データネットワークのユーザがダウンロードし得るデジタル製品であり、これは、例えば、オンラインショップにおいて直ちにダウンロード可能であるように販売され得るものである。
さらに、コンピュータに、コンピュータプログラム、機械可読データ担体又はダウンロード製品が装備されるものとしてよい。
本発明を改良するための他の措置を、以下において、本発明の有利な実施例の説明と共に、図面に基づいて詳細に示す。
ターゲットレーダデータ5へソースレーダデータ3を変換するための方法100の実施例である。 車両50が、レーダシステムの異なるコンフィギュレーション2、4によって観察される例示的な状況である。 ニューラルネットワーク7によってソースレーダデータ3を処理するための方法200の実施例である。
実施例
図1は、ソースレーダデータ3からターゲットレーダデータ5へ変換するための方法100の実施例の概略的なフローチャートである。ソースレーダデータ3は、レーダシステムのソースコンフィギュレーション2によるシーン1の観察によって得られたものである。ターゲットレーダデータ5は、レーダシステムのターゲットコンフィギュレーション4による同様のシーン1の観察時に予期されるレーダデータである。
ソースレーダデータ3は、少なくとも、反射されたレーダビームが、そこからレーダシステムに入射するソース反射位置31の位置座標を含む。ステップ110において、このような位置座標に対するグリッドセル32aの2次元以上の次元のソースアレイ32が提供される。ステップ120において、総てのソース反射位置31の位置座標から、各グリッドセル32aに対して、このグリッドセル32a内に1つ又は複数のソース反射位置31が位置する確率及び/又は頻度32bが求められ、各グリッドセル32aに割り当てられる。
このために、例えば、ブロック121においては、ソース反射位置31を中心に所定の半径を有する円又は球に、1の占有確率を割り当てることができる。次に、ブロック122においては、円の面積又は球の体積が分配されるソースアレイ32の総てのグリッドセル32aに、面積の比率又は体積の比率に応じて、このような占有確率を分配することができる。
ステップ130において、少なくとも、確率及び/又は頻度32bによって占有されたソースアレイ32を含むソーステンソル33が形成される。ソーステンソル33は、その他に、例えば、さらに、ソースアレイ32のグリッドセル32aにそれぞれ割り当てられる付加的なパラメータ8の値を含み得る。
ソーステンソル33は、ステップ140において、ターゲットテンソル53に変換される。ターゲットテンソル53は、少なくとも、ターゲット反射位置51の位置座標に対するグリッドセル52aのターゲットアレイ52を含む。このようなターゲットアレイ52は、各グリッドセル52aに対して、この各グリッドセル52a内に、ターゲットコンフィギュレーション4によるシーン1の観察時に得られるターゲット反射位置51が位置する確率及び/又は頻度52bを示す。
ソースコンフィギュレーション2がターゲットコンフィギュレーション4と同一である場合には、このために、例えば、ブロック141において、ソーステンソル33を、ターゲットテンソル53と同一のものとして引き継ぐことができる。
これに対して、ターゲットコンフィギュレーション4がソースコンフィギュレーション2と異なる場合には、ソーステンソル33を、例えば、ブロック142において、トレーニング済みの機械学習モデル6によって、ターゲットテンソル53に変換することができる。
ステップ150において、ターゲットアレイ52における確率及び/又は頻度52bに基づいて、ターゲット反射位置51の位置座標がサンプリングされ、ターゲットレーダデータ5が発生する。この際に、特に、ブロック151において、具体的なターゲット反射位置51のサンプリングに奇与したターゲットアレイ52の1つ又は複数のグリッドセル52aに対する付加的なパラメータ8の1つ又は複数の値から、付加的なパラメータ8の新たな値8’が形成される。このような新たな値8’は、次に、ブロック152において、ターゲット反射位置51に割り当てられるものとしてよい。
図2は、レーダシステムのソースコンフィギュレーション2によって得られたシーン1のソースレーダデータ3が、同一の又は他のレーダシステムのターゲットコンフィギュレーション4によって同様のシーン1により得られたターゲットレーダデータ5と区別される方法及び理由を概略的に示している。
図2に示された例において、シーン1は、車両50を示している。送信側2a及び受信側2bを含むソースコンフィギュレーション2によって、レーダ反射がソース反射位置31において記録される。見易くするために、これらのうちの3つのみが図2に示されている。これに対して、送信側4a及び受信側4bを他の空間的な位置に含むターゲットコンフィギュレーション4によって、レーダ反射がターゲット反射位置51において記録される。見易くするために、これらのうちの3つのみが図2に示されている。
図3は、ソースレーダデータ3を処理するための方法200の実施例の概略的なフローチャートである。この方法は、最初は、上述した方法100と同様に開始する。
上述した方法100におけるように、ソースレーダデータ3は、少なくとも、反射されたレーダビームがそこからレーダシステムに入射するソース反射位置31の位置座標を含む。ステップ210において、このような位置座標に対するグリッドセル32aの2次元以上の次元のソースアレイ32が提供される。ステップ220において、総てのソース反射位置31の位置座標から、各グリッドセル32aに対して、このグリッドセル32a内に1つ又は複数のソース反射位置31が位置する確率及び/又は頻度32bが求められ、各グリッドセル32aに割り当てられる。
このために、例えば、ブロック221においては、ソース反射位置31を中心に所定の半径を有する円又は球に、1の占有確率を割り当てることができる。次に、ブロック222においては、円の面積又は球の体積が分配されるソースアレイ32の総てのグリッドセル32aに、面積の比率又は体積の比率に応じて、このような占有確率を分配することができる。
ステップ230において、少なくとも、確率及び/又は頻度32bによって占有されたソースアレイ32を含むソーステンソル33が形成される。ソーステンソル33は、その他に、例えば、さらに、ソースアレイ32のグリッドセル32aにそれぞれ割り当てられる付加的なパラメータ8の値を含み得る。
ソーステンソル33は、ステップ240において、ニューラルネットワーク7に供給され、このニューラルネットワーク7によってアウトプット240aへと処理される。この際に、ソーステンソル33を、特に、例えば、所定のクラス分けの1つ又は複数のクラスへ写し取ることができる。
図3に示された例においては、ステップ250において、アウトプット240aから、車両50用の駆動制御信号250aが形成され、ステップ260において、車両50は、この駆動制御信号250aによって駆動制御される。

Claims (16)

  1. ソースレーダデータ(3)をターゲットレーダデータ(5)に変換するための方法(100)であって、前記ソースレーダデータ(3)は、レーダシステムのソースコンフィギュレーション(2)によるシーン(1)の観察によって得られたレーダデータであり、前記ターゲットレーダデータ(5)は、レーダシステムのターゲットコンフィギュレーション(4)による同様の前記シーン(1)の観察時に予期されるレーダデータであり、前記ソースレーダデータ(3)又は前記ターゲットレーダデータ(5)は、少なくとも、ソース反射位置(31)又はターゲット反射位置(51)の位置座標を含み、前記ソース反射位置(31)又は前記ターゲット反射位置(51)から、反射されたレーダビームが前記レーダシステムに入射する、方法(100)において、
    ・グリッドセル(32a)の2次元以上の次元のソースアレイ(32)を前記ソース反射位置(31)の前記位置座標に対して提供するステップ(110)と、
    ・総てのソース反射位置(31)の前記位置座標から、各グリッドセル(32a)に対して、前記グリッドセル(32a)内に1つ又は複数のソース反射位置(31)が位置する確率及び/又は頻度(32b)を求め、前記各グリッドセル(32a)に割り当てるステップ(120)と、
    ・少なくとも、確率及び/又は頻度(32b)によって占有された前記ソースアレイ(32)を含むソーステンソル(33)を形成するステップ(130)と、
    ・前記ソーステンソル(33)を、前記ターゲット反射位置(51)の前記位置座標に対してグリッドセル(52a)の少なくとも1つのターゲットアレイ(52)を含むターゲットテンソル(53)に変換するステップ(140)であって、前記ターゲットアレイ(52)は、各グリッドセル(52a)に対して、前記各グリッドセル(52a)内に、前記ターゲットコンフィギュレーション(4)による前記シーン(1)の観察時に得られるターゲット反射位置(51)が位置する確率及び/又は頻度(52b)を示す、ステップ(140)と、
    ・前記ターゲットアレイ(52)における前記確率及び/又は頻度(52b)に基づいて、ターゲット反射位置(51)の位置座標をサンプリングするステップ(150)であって、これによって前記ターゲットレーダデータ(5)が発生する、ステップ(150)と、
    を含む方法(100)。
  2. 前記ソースコンフィギュレーション(2)は、前記ターゲットコンフィギュレーション(4)と同一であり、前記ソーステンソル(33)を前記ターゲットテンソル(53)と同一のものとして引き継ぐ(141)、請求項1に記載の方法(100)。
  3. 前記ソースコンフィギュレーション(2)は、前記ターゲットコンフィギュレーション(4)と異なり、前記ソーステンソル(33)を、トレーニング済みの機械学習モデル(6)によって、前記ターゲットテンソル(53)に変換する(142)、請求項1に記載の方法(100)。
  4. 前記ソースコンフィギュレーション(2)と前記ターゲットコンフィギュレーション(4)とは、少なくとも、以下の点に関して異なる、即ち、
    ・2つのコンフィギュレーション(2,4)は、異なるレーダセンサを含む、及び/又は、
    ・前記レーダセンサは、2つのコンフィギュレーション(2,4)において、空間的に異なるように配置される、及び/又は、
    ・2つのコンフィギュレーション(2,4)において、前記レーダビームは、少なくとも1つのレーダセンサと観察される前記シーン(1)との間に配置される材料によって異なる態様で影響される、
    請求項3に記載の方法(100)。
  5. 前記機械学習モデル(6)は、エンコーダとデコーダとを備えるエンコーダ・デコーダ装置を含み、前記エンコーダは、前記ソーステンソル(33)を、次元が低減された表現に写し取り、前記デコーダは、前記表現を前記ターゲットテンソル(53)に写し取る、請求項3又は4に記載の方法(100)。
  6. 前記機械学習モデルは、敵対的生成ネットワークGANのジェネレータを含む、請求項3乃至5のいずれか一項に記載の方法(100)。
  7. ソースレーダデータ(3)をニューラルネットワーク(7)によって処理するための方法(200)であって、前記ソースレーダデータ(3)は、レーダシステムのソースコンフィギュレーション(2)によるシーン(1)の観察によって得られたレーダデータであり、前記ソースレーダデータ(3)は、少なくとも、ソース反射位置(31)の位置座標を含み、前記ソース反射位置(31)から、反射されたレーダビームが前記レーダシステムに入射する、方法(200)において、
    ・グリッドセル(32a)の2次元以上の次元のソースアレイ(32)を前記ソース反射位置(31)の前記位置座標に対して提供するステップ(210)と、
    ・総てのソース反射位置(31)の前記位置座標から、各グリッドセル(32a)に対して、前記グリッドセル(32a)内に1つ又は複数のソース反射位置(31)が位置する確率及び/又は頻度(32b)を求め、前記各グリッドセル(32a)に割り当てるステップ(220)と、
    ・少なくとも、確率及び/又は頻度(32b)によって占有された前記ソースアレイ(32)を含むソーステンソル(33)を形成するステップ(230)と、
    ・前記ソーステンソル(33)を、前記ニューラルネットワーク(7)に供給するステップ(240)と、
    を含む方法(200)。
  8. 前記ソーステンソル(33)を、前記ニューラルネットワーク(7)によって、所定のクラス分けの1つ又は複数のクラスに写し取る(241)、請求項7に記載の方法(200)。
  9. 前記ニューラルネットワーク(7)によって供給されたアウトプット(240a)から、車両(50)用の駆動制御信号(250a)を形成し(250)、前記車両(50)を前記駆動制御信号(250a)によって駆動制御する(260)、請求項7又は8に記載の方法(200)。
  10. 前記ソーステンソル(33)及び場合により前記ターゲットテンソル(53)は、それぞれ割当てを含み、前記割当ては、前記ソースレーダデータ(3)又は前記ターゲットレーダデータ(5)から導出可能な少なくとも1つの他の付加的なパラメータ(8)の、前記ソースアレイ(32)又は前記ターゲットアレイ(52)の前記グリッドセル(32a,52a)への割当てである、請求項1乃至9のいずれか一項に記載の方法(100,200)。
  11. 具体的なターゲット反射位置(51)のサンプリングに寄与した、前記ターゲットアレイ(52)の1つ又は複数のグリッドセル(52a)に対する前記付加的なパラメータ(8)の1つ又は複数の値から、前記付加的なパラメータ(8)の新たな値(8’)を形成し(151)、前記ターゲットレーダデータ(5)において前記ターゲット反射位置(51)に割り当てる(152)、請求項10に記載の方法(200)。
  12. 前記付加的なパラメータ(8)は、
    ・前記ソースレーダシステムと前記ソース反射位置(31)との間若しくは前記ターゲットレーダシステムと前記ターゲット反射位置(51)との間の間隔、及び/又は、
    ・前記レーダビームが前記ソースレーダシステム若しくは前記ターゲットレーダシステムに入射する角度、及び/又は、
    ・前記レーダビームが反射された対象物の速度、及び/又は、
    ・前記レーダビームが反射された対象物の、所定のクラス分けの1つ又は複数のクラスへの属性、及び/又は、
    ・反射された前記レーダビームの信号強度
    を含む、請求項10又は11に記載の方法(100,200)。
  13. 前記ソース反射位置(31)を中心に所定の半径を有する円又は球に、1の占有確率を割り当て(121,221)、前記円の面積又は前記球の体積が分配される前記ソースアレイ(32)の総てのグリッドセル(32a)に、面積の比率又は体積の比率に応じて、前記占有確率を分配する(122,222)、請求項1乃至12のいずれか一項に記載の方法(100,200)。
  14. 機械可読命令を含むコンピュータプログラムであって、
    前記機械可読命令が1つ又は複数のコンピュータ上において実行されるときに、前記機械可読命令は、前記1つ又は複数のコンピュータに、請求項1乃至13のいずれか一項に記載の方法(100,200)を実施させる、コンピュータプログラム。
  15. 請求項13に記載のコンピュータプログラムを備える機械可読データ担体及び/又はダウンロード製品。
  16. 請求項14に記載のコンピュータプログラム及び/又は請求項15に記載の機械可読データ担体及び/又はダウンロード製品が装備されるコンピュータ。
JP2021139023A 2020-08-28 2021-08-27 機械学習によるレーダデータの増加及び処理 Pending JP2022040099A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020210887.0 2020-08-28
DE102020210887.0A DE102020210887B3 (de) 2020-08-28 2020-08-28 Vermehrung und Verarbeitung von Radardaten mit Machine Learning

Publications (1)

Publication Number Publication Date
JP2022040099A true JP2022040099A (ja) 2022-03-10

Family

ID=78605429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021139023A Pending JP2022040099A (ja) 2020-08-28 2021-08-27 機械学習によるレーダデータの増加及び処理

Country Status (4)

Country Link
US (1) US11899131B2 (ja)
JP (1) JP2022040099A (ja)
CN (1) CN114114182A (ja)
DE (1) DE102020210887B3 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205574A1 (de) 2022-06-01 2023-12-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bereitstellen von Trainingsdatensätzen für ein Klassifikationsmodell zur Objektidentifikation für ein Ultraschall-Sensorsystem in einer mobilen Einrichtung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098196B2 (en) * 2006-04-11 2012-01-17 Research Foundation Of The City University Of New York Time-compressed clutter covariance signal processor
US10431899B2 (en) * 2014-02-19 2019-10-01 Kymeta Corporation Dynamic polarization and coupling control from a steerable, multi-layered cylindrically fed holographic antenna
DE102016210534A1 (de) 2016-06-14 2017-12-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
EP3460516B1 (en) 2017-09-20 2020-05-27 Aptiv Technologies Limited A device and a method for distinguishing between traversable and non-traversable objects
DE102018204494B3 (de) 2018-03-23 2019-08-14 Robert Bosch Gmbh Erzeugung synthetischer Radarsignale
EP3690753A1 (en) 2019-02-04 2020-08-05 Elektrobit Automotive GmbH Determination of the driving context of a vehicle

Also Published As

Publication number Publication date
DE102020210887B3 (de) 2021-12-09
US11899131B2 (en) 2024-02-13
US20220065989A1 (en) 2022-03-03
CN114114182A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US11487288B2 (en) Data synthesis for autonomous control systems
EP3723001A1 (en) Transferring synthetic lidar system data to real world domain for autonomous vehicle training applications
CN110441066A (zh) 一种智能驾驶车辆在环测试方法及测试系统
Fleck et al. Towards large scale urban traffic reference data: Smart infrastructure in the test area autonomous driving baden-württemberg
JP2020053046A (ja) 交通情報を表示するための運転者支援システム及び方法
US20210117696A1 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating
US10812745B2 (en) Bit depth reduction of image pixels
CN110936959B (zh) 车辆感知系统在线诊断和预测
CN112444822A (zh) 合成激光雷达信号的产生
CN111094095A (zh) 自动地接收行驶信号
US20220215197A1 (en) Data processing method and apparatus, chip system, and medium
JP2022040099A (ja) 機械学習によるレーダデータの増加及び処理
CN112313665A (zh) 对物理测量数据的更逼真的仿真
CN114280611A (zh) 一种融合毫米波雷达与摄像头的路侧感知方法
CN116224954A (zh) 一种融合真实道路场景的智能驾驶在环测试方、环境及存储介质
Hartstern et al. Simulation-based evaluation of automotive sensor setups for environmental perception in early development stages
US20210375078A1 (en) Automated vehicle body damage detection
CN113156434A (zh) 根据雷达数据对仰角信息的重建
US11941889B2 (en) Advanced driver assist system and method of detecting object in the same
CN107356916A (zh) 车距检测方法及装置、电子设备、计算机可读存储介质
CN117169873A (zh) 超视域鸟瞰感知方法及装置、目标感知装置、设备、介质
JP2010002326A (ja) 移動ベクトル検出装置
Tagiew et al. Onboard sensor systems for automatic train operation
CN112630749A (zh) 用于输出提示信息的方法和装置
JP2021050945A (ja) 物体認識装置及び物体認識プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240530