JP2023065307A - ライダーセンサとレーダーセンサを使用して物体検出を実行するニューラルネットワークをトレーニングするためのシステム及び方法 - Google Patents

ライダーセンサとレーダーセンサを使用して物体検出を実行するニューラルネットワークをトレーニングするためのシステム及び方法 Download PDF

Info

Publication number
JP2023065307A
JP2023065307A JP2022155157A JP2022155157A JP2023065307A JP 2023065307 A JP2023065307 A JP 2023065307A JP 2022155157 A JP2022155157 A JP 2022155157A JP 2022155157 A JP2022155157 A JP 2022155157A JP 2023065307 A JP2023065307 A JP 2023065307A
Authority
JP
Japan
Prior art keywords
lidar
radar
bounding boxes
neural network
routine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022155157A
Other languages
English (en)
Other versions
JP7383856B2 (ja
Inventor
クーマー シーバークーマー プラサナー
Kumar Sivakumar Prasanna
ハント ション
Hunt Shawn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of JP2023065307A publication Critical patent/JP2023065307A/ja
Application granted granted Critical
Publication of JP7383856B2 publication Critical patent/JP7383856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】レーダーセンサは、ライダーセンサに比べてデータ解像度が低い。ライダーセンサは、レーダーセンサに比べて解像度が高い一方で、悪天候により、精度が低下する。【解決手段】レーダーベースの強度マップとライダーベースの強度マップとを生成すること、及び、レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成する。複数の教師ベースの境界ボックスと複数の生徒ベースの境界ボックスを生成する。複数の教師ベースの境界ボックス及び複数のグラウンドトルース境界ボックスに基づいて複数の生徒ベースの境界ボックスの損失値を決定すること、損失値に基づいて生徒ニューラルネットワークの１つ以上の重みを更新すること、生徒ニューラルネットワークの１つ以上の重みに関連付けられた移動平均に基づいて、教師ニューラルネットワークの１つ以上の重みを更新する。【選択図】図１

Description

関連出願の相互参照
この出願は、２０２１年１０月２７に出願された米国仮特許出願第６３／２６３１０３の優先権と利益を主張する特許出願である。上記出願の開示は、参照により本明細書に組み込まれる。
本開示は、ライダーセンサとレーダーセンサを使用して物体検出を実行するニューラルネットワークをトレーニングするためのシステム及び方法に関する。
この欄の記述は、本開示に関連する背景情報を提供するだけのものであり、公知技術を構成するものではない。
自動運転車両及び半自動運転車両は、車両の周囲の環境内の物体を検出し、運転者支援ルーチン、アダプティブクルーズ制御ルーチン、制動ルーチン、及び／又は、物体検出ルーチンのような、局所ルーチンを実行するために、光検出・測距（ＬｉＤＡＲ）センサ又はレーダーセンサを使用する。
しかしながら、レーダーセンサは、ライダーセンサに比べてデータ解像度が低いので、局所ルーチンの精度が低下する可能性がある。さらに、ライダーセンサは、レーダーセンサに比べて解像度が高い一方で、ライダーセンサを使用する際の悪天候条件により、局所ルーチンの精度が低下する。具体的には、ライダービームは、霧、雨、及び／又は雪などによって形成された水滴に屈折することがある。
この欄は、本開示の概要を提供するものであり、その全範囲又はその特徴のすべての包括的な開示ではない。
本開示は、１つ以上のレーダーセンサから得られたレーダーデータと１つ以上のライダーセンサから得られたライダーデータとに基づいて１つ以上の物体を検出するように、生徒ニューラルネットワークをトレーニングする方法を提供する。この方法は、レーダーデータに基づくレーダーベースの強度マップとライダーデータに基づくライダーベースの強度マップとを生成すること、レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成すること、教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成すること、及び、生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の生徒ベースの境界ボックスを生成すること、を含む。この方法は、複数の教師ベースの境界ボックス及び複数のグラウンドトルース境界ボックスに基づいて複数の生徒ベースの境界ボックスの損失値を決定すること、損失値に基づいて生徒ニューラルネットワークの１つ以上の重みを更新すること、及び、生徒ニューラルネットワークの１つ以上の重みに関連付けられた移動平均に基づいて、教師ニューラルネットワークの１つ以上の重みを更新すること、を含む。
一形態において、レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成することは、レーダーベースの強度マップに対して第１の拡張ルーチンを実行してレーダー入力を生成すること、ライダーベースの強度マップに対して第１の拡張ルーチンを実行して拡張ライダー入力を生成すること、及び、拡張ライダー入力に対して第２の拡張ルーチンを実行してライダー入力を生成すること、をさらに備える。一形態において、第１の拡張ルーチンは、変換ルーチン、回転ルーチン、スケーリングルーチン、フリッピングルーチン、又は、それらの組み合わせである。一形態において、第２の拡張ルーチンは、ノイズ拡張ルーチンである。
一形態において、教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成することは、レーダー入力に基づいて１つ以上のレーダーベースの特徴を抽出し、ライダー入力に基づいて１つ以上のライダーベースの特徴を抽出すること、１つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成すること、複数のレーダーベースの候補境界ボックスと複数のライダーベースの候補境界ボックスとを連結して、テンソルを生成すること、及び、テンソルに対して回帰ルーチンを実行して、複数の教師ベースの境界ボックスを生成すること、をさらに備える。一形態において、複数のレーダーベースの候補境界ボックスと、複数のライダーベースの候補境界ボックスとは、事前定義された期間にわたって連結される。
一形態において、生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて複数の生徒ベースの境界ボックスを生成することは、レーダー入力に基づいて１つ以上のレーダーベースの特徴を抽出し、ライダー入力に基づいて１つ以上のライダーベースの特徴を抽出すること、１つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成すること、複数のレーダーベースの候補境界ボックスと複数のライダーベースの候補境界ボックスとを連結して、テンソルを生成すること、及び、テンソルに対して回帰ルーチンを実行して、複数の生徒ベースの境界ボックスを生成すること、をさらに備える。一形態において、複数のレーダーベースの候補境界ボックスと、複数のライダーベースの候補境界ボックスとは、事前定義された期間にわたって連結される。一形態において、生徒ニューラルネットワークの１つ以上の重みに関連付けられた移動平均は指数移動平均である。一形態において、方法は、損失値が閾値未満であることに応答して、生徒ニューラルネットワークがトレーニングされていると決定することを含む。
本開示は、１つ以上のレーダーセンサから得られたレーダーデータと１つ以上のライダーセンサから得られたライダーデータとに基づいて１つ以上の物体を検出するように、生徒ニューラルネットワークをトレーニングするシステムを提供する。このシステムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行可能な命令を格納する１つ以上の非一時的コンピュータ可読媒体とを含む。命令は、レーダーデータに基づくレーダーベースの強度マップとライダーデータに基づくライダーベースの強度マップとを生成すること、レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成すること、教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成すること、及び、生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の生徒ベースの境界ボックスを生成すること、を含む。命令は、複数の教師ベースの境界ボックス及び複数のグラウンドトルース境界ボックスに基づいて複数の生徒ベースの境界ボックスの損失値を決定すること、損失値に基づいて生徒ニューラルネットワークの１つ以上の重みを更新すること、生徒ニューラルネットワークの１つ以上の重みに関連付けられた指数移動平均に基づいて、教師ニューラルネットワークの１つ以上の重みを更新すること、及び、損失値が閾値未満であることに応答して、生徒ニューラルネットワークがトレーニングされていると決定すること、を含む。
本開示は、１つ以上のレーダーセンサから得られたレーダーデータと１つ以上のライダーセンサから得られたライダーデータとに基づいて１つ以上の物体を検出するように、生徒ニューラルネットワークをトレーニングする方法を提供する。方法は、レーダーデータに基づくレーダーベースの強度マップとライダーデータに基づくライダーベースの強度マップとを生成すること、レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成すること、教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成すること、及び、生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の生徒ベースの境界ボックスを生成すること、を含む。方法は、複数の教師ベースの境界ボックス及び複数のグラウンドトルース境界ボックスに基づいて複数の生徒ベースの境界ボックスの損失値を決定すること、損失値に基づいて生徒ニューラルネットワークの１つ以上の重みを更新すること、生徒ニューラルネットワークの１つ以上の重みに関連付けられた指数移動平均に基づいて、教師ニューラルネットワークの１つ以上の重みを更新すること、及び、損失値が閾値未満であることに応答して、生徒ニューラルネットワークがトレーニングされていると決定すること、を含む。
さらなる適用可能分野は、本明細書で提供される説明から明らかになるであろう。説明及び特定の例は、例示のみを目的とすることが意図され、本開示の範囲を限定することは意図されていないことを理解されたい。
本開示が十分に理解され得るようにするため、添付の図面を参照して、例として与えら
れる様々な形態が説明される。
本開示の教示によるトレーニングシステムの機能ブロック図である。 本開示の教示による教師ニューラルネットワークの機能ブロック図である。 本開示の教示による生徒ニューラルネットワークの機能ブロック図である。 本開示の教示による、車両内に設けられるトレーニングされた生徒ニューラルネットワークの機能ブロック図である。 本開示の教示による、生徒ニューラルネットワークをトレーニングするための例示的なルーチンのフローチャートである。 本開示の教示による、１つ以上の拡張ルーチンを実行するための例示的なルーチンのフローチャートである。 本開示の教示による、候補境界ボックスを生成するための例示的なルーチンのフローチャートである。
ここで説明された図面は、例示のみを目的としており、いかなる方法でも本開示の範囲を限定することは意図されない。
以下の説明は、本質的に単なる例示であり、本開示、適用、又は使用を限定することを意図するものではない。図面全体を通して、対応する参照番号は、同様の又は対応する部品及び特徴を示すことを理解されたい。
本開示は、レーダーデータ及びライダーデータに基づいて１つ以上の物体を検出するように生徒ニューラルネットワークをトレーニングするためのシステム及び方法を提供する。生徒ニューラルネットワークは、ディープニューラルネットワークルーチンを使用し、教師ニューラルネットワークとグラウンドトルースの境界ボックスによって生成される境界ボックス間の差に基づく損失値に基づいて、対応する重みを選択的に更新する。さらに、教師ニューラルネットワークは、生徒ニューラルネットワークのロバスト性と精度を向上させるために、生徒ニューラルネットワークの重みの移動平均に基づいて同時にトレーニングされる。このようにして、生徒ニューラルネットワークは、自動車コントローラに設けられた際に、レーダーデータの希薄性のためレーダーデータの信頼性が抑制されている場合、及び／又は、雨、霧、及び／又は雪の存在など、様々な気象及び気候条件によってライダーデータの信頼性が抑制されている場合、改善された精度で局所ルーチンを実行することができる。
図１を参照すると、トレーニングシステム１０が提供され、概して、レーダーセンサ２０、ライダーセンサ３０、レーダー強度マップモジュール４０、ライダー強度マップモジュール５０、拡張モジュール６０、教師ニューラルネットワーク７０、生徒ニューラルネットワーク８０、移動平均モジュール９０、損失モジュール１００、及び、グラウンドトルースデータベース１１０を含む。トレーニングシステム１０の構成要素の任意の１つは、同じ場所に設けられることもできるし、又は（例えば、１つ以上のエッジコンピューティングデバイスを介して）異なる場所に分散され、適宜、通信可能に結合できることは容易に理解されよう。一形態において、トレーニングシステム１０の構成要素は、有線又は無線通信プロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）タイプのプロトコル、セルラープロトコル、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）タイプのプロトコル、近距離無線（ＮＦＣ）プロトコル、超広帯域（ＵＷＢ）プロトコルなど）を使用して通信可能に結合される。１つのレーダーセンサ２０と１つのライダーセンサ３０が示されているが、トレーニングシステム１０は、任意の数のレーダーセンサ２０とライダーセンサ３０を含み得ることが理解されよう。
一形態において、レーダーセンサ２０は、交通インフラ、障害物、歩行者、他の車両などのような、車両及び／又はレーダーセンサ２０の周囲の環境の様々な物体の輪郭及び距離を検出する。具体的には、レーダーセンサ２０は、ミリ波を放射するレーダー放射システムと、周囲環境内の物体に関連する１つ以上のレーダーエコーを取得し、検出された物体の輪郭及び距離に関連するレーダーデータを生成するレーダー受信システムとを含む。
一形態において、ライダーセンサ３０は、車両及び／又はライダーセンサ３０の周囲の環境の様々な物体の輪郭及び距離を検出する。具体的には、ライダーセンサ３０は、レーザーを放出するレーザーシステムと、反射信号に関連付けられたタイムスタンプ、車両の周囲の環境の輝度に基づく光強度値、及び、反射信号の信号強度に基づく表面反射率値のような、周囲環境内の物体に関連付けられた１つ以上の反射信号に関連する様々な反射測定基準を取得する光検出システムと、を含む。一形態において、ライダーセンサ３０は、単一光子アバランシェダイオード（ＳＰＡＤ）ベースのライダーセンサによって提供されるが、ライダーセンサ３０は、任意のタイプのライダーセンサによって提供され得ることを理解されたい。
一形態において、レーダー強度マップモジュール４０は、レーダーデータに基づいてレーダーベースの強度マップを生成する。一例として、レーダーベースの強度マップは、車両及び／又はレーダーセンサ２０の周囲で検出された物体のエッジ、輪郭、又は表面に対応する複数のレーダーデータポイントを含む。一形態において、レーダーデータポイントの各々は、事前定義された原点に対する２次元の相対変位（すなわち、ＸＹデカルト座標）又は３次元の相対変位（すなわち、ＸＹＺデカルト座標）を表すデカルト座標のような、事前定義された原点（例えば、レーダーセンサ２０、事前定義された車両の基準点など）に対する位置座標である。
一形態において、ライダー強度マップモジュール５０は、ライダーセンサ３０によって取得されたライダーデータに基づいて、ライダーベースの強度マップを生成する。ライダーベースの強度マップは、車両の周囲で検出された物体のエッジ、輪郭、又は表面に対応する複数のライダーデータポイントを含む。一形態において、ライダーデータポイントのそれぞれは、デカルト座標のような、事前定義された原点（例えば、ライダーセンサ３０、事前定義された車両の基準点など）に対する位置座標である。
一形態において、レーダー強度マップモジュール４０によって生成されたレーダーベースの強度マップとライダー強度マップモジュール５０によって生成されたライダーベースの強度マップは、異なるデータポイント解像度を有する。一例として、レーダーベースの強度マップは、２００個のレーダーデータポイントを含むことができ、ライダーベースの強度マップは、３万５０００個のライダーデータポイントを含むことができる。
一形態において、拡張モジュール６０は、レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力及びライダー入力を生成する。一例として、拡張モジュール６０は、レーダーベースの強度マップに対して第１の拡張ルーチンを実行して、レーダー入力を生成する。別の例として、拡張モジュール６０は、ライダーベースの強度マップに対して第１の拡張ルーチンを実行して、拡張ライダー入力を生成する。第１の拡張ルーチンの例には、変換ルーチン、回転ルーチン、スケーリングルーチン、フリッピングルーチン、又はそれらの組み合わせが含まれるが、これらに限定されない。
本明細書で使用される「変換ルーチン」は、レーダーベースの強度マップのレーダーデータポイント及び／又はライダーベースの強度マップのライダーデータポイントのＸ座標、Ｙ座標、及びＺ座標のうちの少なくとも１つを、それぞれの変換値によってシフトすることを指す。本明細書で使用される「回転ルーチン」は、レーダーベースの強度マップのレーダーデータポイント及び／又はライダーベースの強度マップのライダーデータポイントのＸ座標、Ｙ座標、及びＺ座標のうちの少なくとも１つを、それぞれの角度値によって回転させることを指す。本明細書で使用される「スケーリングルーチン」は、レーダーベースの強度マップのレーダーデータポイント及び／又はライダーベースの強度マップのライダーデータポイントのＸ座標、Ｙ座標、及びＺ座標のうちの少なくとも１つに、それぞれのスケーリング値を乗算することを指す。本明細書で使用される「フリッピングルーチン」は、レーダーベースの強度マップのレーダーデータポイント及び／又はライダーベースの強度マップのライダーデータポイントのＸ座標、Ｙ座標、及びＺ座標のうちの少なくとも１つの符号を調整することを指す。第１の拡張ルーチンは、他の拡張ルーチンによって提供されてもよく、本明細書に記載の例に限定されないことを理解されたい。
いくつかの形態において、拡張モジュール６０は、拡張ライダー入力に対して第２の拡張ルーチンを実行して、ライダー入力を生成する。一形態において、第２の拡張ルーチンはノイズ拡張ルーチンであり、それは、ライダーデータポイントにノイズを追加するように構成されたガウスノイズ関数又は他のノイズ関数を含むことができる。いくつかの形態において、ノイズ拡張ルーチンは、雨、霧、雪など、ライダーデータポイントの品質と信頼性を阻害する悪天候条件をシミュレートするように構成される。第２の拡張ルーチンは、他の拡張ルーチンによって提供されてもよく、本明細書に記載の例に限定されないことを理解されたい。
一形態において、図１－３を参照すると、教師ニューラルネットワーク７０は、レーダー入力とライダー入力に基づいて、複数の教師ベースの境界ボックスを生成するように構成され、生徒ニューラルネットワーク８０は、レーダー入力とライダー入力に基づいて、複数の生徒ベースの境界ボックスを生成するように構成される。一形態において、教師ニューラルネットワーク７０は、レーダー特徴抽出モジュール７１、ライダー特徴抽出モジュール７２、候補境界ボックスモジュール７３、連結モジュール７４、及び回帰モジュール７５を含む。一形態において、生徒ニューラルネットワーク８０は、レーダー特徴抽出モジュール８１、ライダー特徴抽出モジュール８２、候補境界ボックスモジュール８３、連結モジュール８４、及び回帰モジュール８５を含む。
本明細書で説明される機能を実行するために、教師ニューラルネットワーク７０と生徒ニューラルネットワーク８０はそれぞれ、リードオンリーメモリ（ＲＯＭ）回路及び／又はランダムアクセスメモリ（ＲＡＭ）回路のような、非一時的コンピュータ可読媒体に格納された機械可読命令を実行する１つ以上のプロセッサ回路を含むことができる。一形態において、教師ニューラルネットワーク７０と生徒ニューラルネットワーク８０はそれぞれ、領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）などの１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）を含む。本明細書ではＣＮＮルーチンについて説明するが、教師ニューラルネットワーク７０及び生徒ニューラルネットワーク８０は、コンピュータビジョンシステムのような、本明細書で説明するモルフォロジー演算を実行するように構成された他の深層学習ネットワーク、システム、及び／又はモジュールに置き換えてもよいことを理解されたい。
レーダー特徴抽出モジュール７１は、レーダー入力に基づいて、１つ以上のレーダーベースの特徴を抽出する。一形態において、１つ以上のレーダーベースの特徴は、例えば、レーダー入力の所与の部分が物体のエッジ又は輪郭に対応するかどうかを表すベクトルである。一例として、レーダー特徴抽出モジュール７１は、レーダーベースの特徴を抽出するために、畳み込み及びプーリングルーチンをそれぞれ繰り返し実行する１つ以上の畳み込み層と１つ以上のプーリング層を備える。従って、１つ以上の畳み込み層は、重み、カーネルの次元、カーネルの数、ストライド値、パディング値、入力／出力チャネル、ビット深度、及び整流線形ユニット（ＲｅＬＵ）活性化層を含むが、これらに限定されないパラメータの任意の適切な組み合わせによって定義され得る。さらに、１つ以上のプーリング層は、プーリングルーチンのタイプ（例えば、最大プーリングルーチン、平均プーリングルーチン、Ｌ２ノルムプーリングルーチンなど）、カーネルの次元、及びスライディング値を含むが、これらに限定されないパラメータの任意の適切な組み合わせによって定義され得る。レーダー特徴抽出モジュール８１は、レーダー特徴抽出モジュール７１と同様に構成されるので、簡潔のため、その説明を省略する。
ライダー特徴抽出モジュール７２は、ライダー入力に基づいて、１つ以上のライダーベースの特徴を抽出する。一形態において、１つ以上のライダーベースの特徴は、例えば、ライダー入力の所与の部分が物体のエッジ又は輪郭に対応するかどうかを表すベクトルである。一例として、ライダー特徴抽出モジュール７２は、ライダーベースの特徴を抽出するために、畳み込み及びプーリングルーチンをそれぞれ繰り返し実行する１つ以上の畳み込み層と１つ以上のプーリング層を備える。ライダー特徴抽出モジュール８２は、ライダー特徴抽出モジュール７２と同様に構成されるので、簡潔のため、その説明は省略する。
候補境界ボックスモジュール７３は、１つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成する。レーダーベースの候補境界ボックスとライダーベースの候補境界ボックスは、以下では、まとめて「候補境界ボックス」と呼ばれる。一形態において、候補境界ボックスモジュール７３は、エッジ／輪郭を特定し、対応する境界ボックスを生成するように、公知の境界ボックス生成ルーチンを実行することによって、検出物体を取り囲む候補境界ボックス（例えば、回転された境界ボックス又は回転されていない境界ボックス）を生成する、領域提案ネットワーク（ＲＰＮ）又はＦａｓｔｅｒ Ｒ－ＣＮＮを用いる。
いくつかの形態において、候補境界ボックスモジュール７３は、候補境界ボックスに関連付けられた1つ以上の特徴（例えば、ライダーベース又はレーダーベースの候補境界ボックスに関連付けられた物体のタイプ及び／又は物体の測定基準）をさらに決定することができる。一例として、候補境界ボックスモジュール７３は、エッジ間の距離、候補境界ボックスのエッジの角度変位、候補境界ボックスの面積、及び／又は、候補境界ボックスのエッジの長さ／幅を計算する１つ以上のプーリング層を含み、候補境界ボックスの特徴に対応する特徴ベクトルを出力する。候補境界ボックスモジュール８３は、候補境界ボックスモジュール７３と同様に構成されるので、簡潔のため、その説明は省略される。
連結モジュール７４は、候補境界ボックスを連結してテンソルを生成する。一形態において、テンソルは、候補境界ボックスに関連する特徴ベクトル、レーダー特徴抽出モジュール７１の重み及びバイアス、ライダー特徴抽出モジュール７２の重み及びバイアス、候補境界ボックスモジュール７３の重み及びバイアス、及び／又は候補境界ボックスの生成に関連する離散時間値を表すため、任意の次元数を有しても良い。本明細書で説明される機能を実行するために、連結モジュール７４は、境界ボックスに関連する特徴ベクトルに基づいて残余出力を生成する１つ以上の自己アテンションモジュールと、残余出力をテンソルに連結する１つ以上の相互アテンションモジュールとを使用することができる。一形態において、連結モジュール７４は、事前定義された期間にわたって、候補境界ボックスを連結して、テンソルを生成し、教師ニューラルネットワーク７０の精度を高める。連結モジュール８４は、連結モジュール７４と同様に構成されるので、簡潔のため、その説明は省略する。
回帰モジュール７５は、テンソルに対して回帰ルーチンを実行して、複数の教師ベースの境界ボックスを生成する。一形態において、回帰ルーチンは、候補境界ボックスの特徴に対応するテンソルの部分を選択的に調整するように構成される。一例として、回帰ルーチンは、エッジ間の距離、候補境界ボックスのエッジの角度変位、候補境界ボックスの面積、及び／又は候補境界ボックスのエッジの長さ／幅に対応するテンソルの部分を選択的に更新する。回帰ルーチンの例には、線形テンソル回帰ルーチン（例えば、線形テンソル回帰ルーチン、ペナルティ付きテンソル回帰ルーチン、ベイジアンテンソル回帰ルーチン、分位テンソル回帰ルーチン、投影ベースのテンソル回帰など）又は非線形テンソル回帰ルーチン（例えば、カーネルルーチン、ガウステンソルルーチン、ランダムフォレストテンソル回帰ルーチンなど）が含まれるが、それらに限定されない。このように、回帰ルーチンは、検出された環境の物体に対応する候補境界ボックスの精度を高めることができる。本明細書に記載された機能を実行するために、回帰モジュール７５は、様々な公知のテンソル回帰ネットワークによって使用され得る。回帰モジュール８５は、回帰モジュール７５と同様の回帰ルーチンをテンソルに対して実行し、複数の生徒ベースの境界ボックスを生成する。
一形態において、移動平均モジュール９０は、生徒ニューラルネットワーク８０の１つ以上の重みに関連する移動平均を決定し、移動平均に基づいて教師ニューラルネットワーク７０の１つ以上の重みを選択的に更新するように構成される。一例として、移動平均モジュール９０は、レーダー特徴抽出モジュール８１の重み（ベクトルＡ１～Ａ１１）の平均を決定し、レーダー特徴抽出モジュール８１によって実行されるＣＮＮルーチンの反復値（１～１１）を得る。さらに、移動平均モジュール９０は、以下の表１に示されるように、反復ごとに指数移動平均（ベクトルＥＭＡ１～ＥＭＡ１０）を決定することによって、レーダー特徴抽出モジュール７１の重み（ベクトルＢ１～Ｂ１１）を決定する。
Figure 2023065307000002
表１において、βは、レーダー特徴抽出モジュール８１の現在の重み及び前回の指数移動平均に与えられる重み係数である（すなわち、βのより大きい値は、前回の指数移動平均に与える重みを小さくすることに対応する）。いくつかの形態において、指数移動平均は、先行する各平均重み値又は先行する各平均重み値のセットの関数とすることができる（例えば、指数移動平均は、先行する５回の反復の平均重みに基づいて計算される）。指数移動平均が開示されているが、他のタイプの移動平均の中で、単純移動平均、平滑化移動平均、線形加重移動平均などの、他のタイプの移動平均を使用することができ、かつ他のタイプの移動平均は、本明細書に記載の例に限定されないことを理解されたい。加えて、表１は、レーダー特徴抽出モジュール７１、８１の重みの例を示しているが、移動平均モジュール９０は、ライダー特徴抽出モジュール８２、候補境界ボックスモジュール８３、連結モジュール８４、及び回帰モジュール８５の重みに基づいて、同様の方法で、それぞれ、ライダー特徴抽出モジュール７２、候補境界ボックスモジュール７３、連結モジュール７４、及び回帰モジュール７５の重みを選択的に更新しても良い。
一形態において、損失モジュール１００は、複数の教師ベースの境界ボックスとグラウンドトルースデータベース１１０に格納された複数のグラウンドトルース境界ボックスとに基づいて、複数の生徒ベースの境界ボックスの損失値を決定するように構成される。一形態において、グラウンドトルース境界ボックスの各々は、既知の物体のタイプ（例えば、車両に近接し得る、及び／又は、車両のまわりの他の物体の中の、人、別の車両、自転車、交通インフラ）に対応し、トレーニングシステム１０のトレーニングルーチンの間に定義される。
一形態において、損失モジュール１００は、境界ボックス損失改良ルーチンを実行することによって損失値を決定し、損失値に基づいて生徒ニューラルネットワーク８０の１つ以上の重みを選択的に調整する。一例として、境界ボックス損失改良ルーチンは、教師ニューラルネットワーク７０によって出力される（特徴ベクトルによって定義される）候補境界ボックスのエッジ間の方向、面積、長さ、幅、及び距離と、対応するグラウンドトルース境界ボックスのエッジ間の方向、面積、長さ、幅、及び距離との間の差の関数である損失値を出力することができる。損失値が閾値より大きい場合、損失モジュール１００は、生徒ニューラルネットワーク８０はトレーニングされていないと判断し、レーダー特徴抽出モジュール８１、ライダー特徴抽出モジュール８２、候補境界ボックスモジュール８３、連結モジュール８４、及び／又は回帰モジュール８５の１つ以上の重みを更新する。さらに、損失モジュール１００は、損失値が閾値未満であることに応答して、生徒ニューラルネットワーク８０がトレーニングされていると判断する。このように、生徒ニューラルネットワーク８０が十分にトレーニングされると、生徒ニューラルネットワーク８０は、車両の周囲の物体の、識別された打ったいのタイプに対応する境界ボックスと１つ以上の特徴ベクトルを自律的に生成するように構成され、それにより、車両は、様々な気象及び気候条件において、ライダーデータ及び／又はレーダーデータに基づいて、様々な局所ルーチンを正確に実行することができる。
図４を参照すると、車両２００が示されており、概して、レーダーセンサ２０、ライダーセンサ３０、レーダー強度マップモジュール４０、ライダー強度マップモジュール５０、及びトレーニングされた生徒ニューラルネットワーク８０を含む。一形態において、車両２００は、任意ではあるが、レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行する拡張モジュール６０を含む。一形態において、車両２００のコンポーネントは、制御エリアネットワーク（ＣＡＮ（登録商標））、ローカル相互接続ネットワーク（ＬＩＮ）、及び／又は他の適切な通信ネットワークなどの車両通信ネットワークによって通信可能に結合される。一形態において、トレーニング済み生徒ニューラルネットワーク８０は、レーダーセンサ２０及びライダーセンサ３０からそれぞれ取得されたレーダーデータ及びライダーデータに基づいて、物体検出ルーチンなどの局所ルーチンを実行するように構成される。
図５を参照すると、１つ以上の物体を検出するように生徒ニューラルネットワークをトレーニングするためのルーチン５００を示すフローチャートが示されている。５０４で、レーダー強度マップモジュール４０は、レーダーセンサ２０から取得したレーダーデータに基づいてレーダーベースの強度マップを生成し、ライダー強度マップモジュール５０は、ライダーセンサ３０から取得したライダーデータに基づいてライダーベースの強度マップを生成する。５０８で、拡張モジュール６０は、レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力及びライダー入力を生成する。５０８で実行される１つ以上の拡張ルーチンに関するさらなる詳細が、図６を参照して以下でさらに詳細に説明される。
５１２において、教師ニューラルネットワーク７０は、レーダー入力とライダー入力とに基づいて教師ベースの境界ボックスを生成し、生徒ニューラルネットワーク８０は、レーダー入力とライダー入力とに基づいて生徒ベースの境界ボックスを生成する。５１２で候補境界ボックスを生成することに関するさらなる詳細は、図７を参照して以下でさらに詳細に説明される。
５１６で、損失モジュール１００は、生徒ベースの境界ボックスの損失値を決定し、損失値に基づいて生徒ニューラルネットワーク８０の重みを更新する。５２０において、移動平均モジュール９０は、生徒ニューラルネットワーク８０の重みの移動平均に基づいて教師ニューラルネットワーク７０の重みを更新する。５２４において、損失モジュール１００は、損失値と損失閾値との間の比較に基づいて、生徒ニューラルネットワーク８０がトレーニングされているかどうかを決定する。生徒ニューラルネットワーク８０がトレーニングされている場合、ルーチン５００は終了する。そうではなく、生徒ニューラルネットワーク８０がトレーニングされていない場合、ルーチン５００は５０４に進む。
図６を参照すると、図５のステップ５０８で１つ以上の拡張ルーチンを実行するためのルーチンを示すフローチャートが示されている。６０４で、拡張モジュール６０は、レーダーベースの強度マップに対して第１の拡張ルーチンを実行して、レーダー入力を生成する（例えば、変換ルーチン、回転ルーチン、スケーリングルーチン、フリッピングルーチン、又はそれらの組み合わせ）。６０８で、拡張モジュール６０は、ライダーベースの強度マップに対して第１の拡張ルーチンを実行して、拡張ライダー入力を生成する。６１２において、拡張モジュール６０は、拡張ライダー入力に対して第２の拡張ルーチン（例えば、ノイズ拡張ルーチン）を実行して、ライダー入力を生成する。
図７を参照すると、図５のステップ５１２で境界ボックスを生成するためのルーチンを示すフローチャートが示されている。７０４において、レーダー特徴抽出モジュール７１、８１はレーダー入力からレーダーベースの特徴を抽出し、ライダー特徴抽出モジュール７２、８２はライダー入力からライダーベースの特徴を抽出する。７０８において、候補境界ボックスモジュール７３、８３は、レーダー特徴に基づいてレーダーベースの候補境界ボックスを生成する。候補境界ボックスモジュール７３、８３は、７１２において、ライダー特徴に基づいてライダーベースの候補境界ボックスを生成する。７１６において、連結モジュール７４、８４は、レーダーベースの候補境界ボックスとライダーベースの候補境界ボックスとを連結して、テンソルを生成する。７２０において、回帰モジュール７５は、候補境界ボックスの特徴に対応するテンソルの部分を選択的に調整するために、テンソルに対して回帰ルーチンを実行する。
本明細書で特に明示的に示されない限り、機械的／熱的特性、組成パーセンテージ、寸法及び／又は公差、もしくは他の特性を示すすべての数値は、本開示の範囲を説明する際に「約」又は「凡そ」という言葉によって修飾されていると理解されるべきである。この変更は、産業界の慣行、材料、製造、組み立て公差、及びテスト能力を含むさまざまな理由から望まれる。
本明細書で使用される場合、Ａ、Ｂ、及びＣの少なくとも1つとの語句は、非排他的論理ＯＲを使用して、論理（Ａ ＯＲ Ｂ ＯＲ Ｃ）を意味すると解釈されるべきであり、「Ａの少なくとも1つ、Ｂの少なくとも１つ、及びＣの少なくとも１つ」を意味すると解釈されるべきではない。
この出願では、「コントローラ」及び／又は「モジュール」との用語は、特定用途向け集積回路（ＡＳＩＣ）、デジタル、アナログ、又はアナログ／デジタル混合ディスクリート回路、デジタル、アナログ、又はアナログ／デジタル混合集積回路、組み合わせ論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コードを実行するプロセッサ回路（共有、専用、又はグループ）、プロセッサ回路によって実行されるコードを格納するメモリ回路（共有、専用、又はグループ）、説明された機能を提供する他の適切なハードウェアコンポーネント（例えば、熱流束データモジュールの一部としてのオペアンプ回路積分器）、又は、システムオンチップになど、上記の一部又はすべての組み合わせを指すか、一部であるか、又は含むことができる。
メモリとの用語は、コンピュータ可読媒体との用語のサブセットである。本明細書で使用されるコンピュータ可読媒体との用語は、媒体（搬送波上など）を通って伝播する一時的な電気信号又は電磁信号を含まない。従って、コンピュータ可読媒体との用語は、有形で非一時的であると見なされ得る。非一時的で有形のコンピュータ可読媒体の非限定的な例は、不揮発性メモリ回路（フラッシュメモリ回路、消去可能プログラム可能な読み取り専用メモリ回路、又はマスク読み取り専用回路など）、揮発性メモリ回路（静的ランダムアクセスメモリ回路又は動的ランダムアクセスメモリ回路など）、磁気記憶媒体（アナログ又はデジタル磁気テープ又はハードディスクドライブなど）、及び光記憶媒体（ＣＤ、ＤＶＤ、又はブルーレイディスクなど）。
この出願で説明される装置及び方法は、コンピュータプログラムに具体化された１つ以上の特定の機能を実行するように汎用コンピュータを構成することによって作成された専用コンピュータによって部分的又は完全に実施され得る。上記の機能ブロック、フローチャートコンポーネント、及びその他の要素は、ソフトウェア仕様として役割を果たし、熟練した技術者又はプログラマーの日常業務によってコンピュータプログラムに変換できる。
この開示の説明は、本質的に単なる例示であり、従って、この開示の本質から逸脱しない変形は、この開示の範囲内にあることが意図される。そのような変形は、この開示の主旨及び範囲からの逸脱と見なされるべきではない。
１０ ：トレーニングシステム
２０ ：レーダーセンサ
３０ ：ライダーセンサ
４０ ：レーダー強度マップモジュール
５０ ：ライダー強度マップモジュール
６０ ：拡張モジュール
７０ ：教師ニューラルネットワーク
７１ ：レーダー特徴抽出モジュール
７２ ：ライダー特徴抽出モジュール
７３ ：候補境界ボックスモジュール
７４ ：連結モジュール
７５ ：回帰モジュール
８０ ：生徒ニューラルネットワーク
８１ ：レーダー特徴抽出モジュール
８２ ：ライダー特徴抽出モジュール
８３ ：候補境界ボックスモジュール
８４ ：連結モジュール
８５ ：回帰モジュール
９０ ：移動平均モジュール
１００ ：損失モジュール
１１０ ：グラウンドトルースデータベース
２００ ：車両

Claims (20)

  1. １つ以上のレーダーセンサから得られたレーダーデータと１つ以上のライダーセンサから得られたライダーデータとに基づいて１つ以上の物体を検出するように、生徒ニューラルネットワークをトレーニングする方法であって、
    レーダーデータに基づくレーダーベースの強度マップとライダーデータに基づくライダーベースの強度マップとを生成すること、
    レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成すること、
    教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成すること、
    生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の生徒ベースの境界ボックスを生成すること、
    複数の教師ベースの境界ボックス及び複数のグラウンドトルース境界ボックスに基づいて、複数の生徒ベースの境界ボックスの損失値を決定すること、
    損失値に基づいて生徒ニューラルネットワークの１つ以上の重みを更新すること、及び、
    生徒ニューラルネットワークの１つ以上の重みに関連付けられた移動平均に基づいて、教師ニューラルネットワークの１つ以上の重みを更新すること、を備える方法。
  2. レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成することは、
    レーダーベースの強度マップに対して第１の拡張ルーチンを実行してレーダー入力を生成すること、
    ライダーベースの強度マップに対して第１の拡張ルーチンを実行して拡張ライダー入力を生成すること、及び、
    拡張ライダー入力に対して第２の拡張ルーチンを実行してライダー入力を生成すること、をさらに備える請求項１に記載の方法。
  3. 第１の拡張ルーチンは、変換ルーチン、回転ルーチン、スケーリングルーチン、フリッピングルーチン、又は、それらの組み合わせである請求項２に記載の方法。
  4. 第２の拡張ルーチンは、ノイズ拡張ルーチンである請求項２に記載の方法。
  5. 教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成することは、
    レーダー入力に基づいて１つ以上のレーダーベースの特徴を抽出し、ライダー入力に基づいて１つ以上のライダーベースの特徴を抽出すること、
    １つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成すること、
    複数のレーダーベースの候補境界ボックスと複数のライダーベースの候補境界ボックスとを連結して、テンソルを生成すること、及び、
    テンソルに対して回帰ルーチンを実行して、複数の教師ベースの境界ボックスを生成すること、をさらに備える請求項１に記載の方法。
  6. 複数のレーダーベースの候補境界ボックスと、複数のライダーベースの候補境界ボックスとは、事前定義された期間にわたって連結される請求項５に記載の方法。
  7. 生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて複数の生徒ベースの境界ボックスを生成することは、
    レーダー入力に基づいて１つ以上のレーダーベースの特徴を抽出し、ライダー入力に基づいて１つ以上のライダーベースの特徴を抽出すること、
    １つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成すること、
    複数のレーダーベースの候補境界ボックスと複数のライダーベースの候補境界ボックスとを連結して、テンソルを生成すること、及び、
    テンソルに対して回帰ルーチンを実行して、複数の生徒ベースの境界ボックスを生成すること、をさらに備える請求項１に記載の方法。
  8. 複数のレーダーベースの候補境界ボックスと、複数のライダーベースの候補境界ボックスとは、事前定義された期間にわたって連結される請求項７に記載の方法。
  9. 生徒ニューラルネットワークの１つ以上の重みに関連付けられた移動平均は指数移動平均である請求項１に記載の方法。
  10. 損失値が閾値未満であることに応答して、生徒ニューラルネットワークがトレーニングされていると決定することをさらに備える請求項１に記載の方法。
  11. １つ以上のレーダーセンサから得られたレーダーデータと１つ以上のライダーセンサから得られたライダーデータとに基づいて１つ以上の物体を検出するように、生徒ニューラルネットワークをトレーニングするシステムであって、
    １つ以上のプロセッサと、
    １つ以上のプロセッサによって実行可能な命令を格納する１つ以上の非一時的コンピュータ可読媒体と、を備え、
    命令は、
    レーダーデータに基づくレーダーベースの強度マップとライダーデータに基づくライダーベースの強度マップとを生成すること、
    レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成すること、
    教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成すること、
    生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の生徒ベースの境界ボックスを生成すること、
    複数の教師ベースの境界ボックス及び複数のグラウンドトルース境界ボックスに基づいて複数の生徒ベースの境界ボックスの損失値を決定すること、
    損失値に基づいて生徒ニューラルネットワークの１つ以上の重みを更新すること、
    生徒ニューラルネットワークの１つ以上の重みに関連付けられた指数移動平均に基づいて、教師ニューラルネットワークの１つ以上の重みを更新すること、及び、
    損失値が閾値未満であることに応答して、生徒ニューラルネットワークがトレーニングされていると決定すること、を含むシステム。
  12. レーダーベースの強度マップ及びライダーベースの強度マップに対して１つ以上の拡張ルーチンを実行して、レーダー入力とライダー入力とを生成する命令は、
    レーダーベースの強度マップに対して第１の拡張ルーチンを実行してレーダー入力を生成すること、
    ライダーベースの強度マップに対して第１の拡張ルーチンを実行して拡張ライダー入力を生成すること、及び、
    拡張ライダー入力に対して第２の拡張ルーチンを実行してライダー入力を生成すること、をさらに備える請求項１１に記載のシステム。
  13. 第１の拡張ルーチンは、変換ルーチン、回転ルーチン、スケーリングルーチン、フリッピングルーチン、又は、それらの組み合わせであり、
    第２の拡張ルーチンは、ノイズ拡張ルーチンである請求項１２に記載のシステム。
  14. 教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成する命令は、
    レーダー入力に基づいて１つ以上のレーダーベースの特徴を抽出し、ライダー入力に基づいて１つ以上のライダーベースの特徴を抽出すること、
    １つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成すること、
    複数のレーダーベースの候補境界ボックスと複数のライダーベースの候補境界ボックスとを連結して、テンソルを生成すること、及び、
    テンソルに対して回帰ルーチンを実行して、複数の教師ベースの境界ボックスを生成すること、をさらに備える請求項１１に記載のシステム。
  15. 生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて複数の生徒ベースの境界ボックスを生成する命令は、
    レーダー入力に基づいて１つ以上のレーダーベースの特徴を抽出し、ライダー入力に基づいて１つ以上のライダーベースの特徴を抽出すること、
    １つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成すること、
    複数のレーダーベースの候補境界ボックスと複数のライダーベースの候補境界ボックスとを連結して、テンソルを生成すること、及び、
    テンソルに対して回帰ルーチンを実行して、複数の生徒ベースの境界ボックスを生成すること、をさらに備える請求項１１に記載のシステム。
  16. １つ以上のレーダーセンサから得られたレーダーデータと１つ以上のライダーセンサから得られたライダーデータとに基づいて１つ以上の物体を検出するように、生徒ニューラルネットワークをトレーニングする方法であって、
    レーダーデータに基づくレーダーベースの強度マップとライダーデータに基づくライダーベースの強度マップとを生成すること、
    レーダーベースの強度マップに対して第１の拡張ルーチンを実行して、レーダー入力を生成すること、
    ライダーベースの強度マップに対して第１の拡張ルーチンを実行して、拡張ライダー入力を生成すること、
    拡張ライダー入力に対して第２の拡張ルーチンを実行して、ライダー入力を生成すること、
    教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成すること、
    生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の生徒ベースの境界ボックスを生成すること、
    複数の教師ベースの境界ボックス及び複数のグラウンドトルース境界ボックスに基づいて複数の生徒ベースの境界ボックスの損失値を決定すること、
    損失値に基づいて生徒ニューラルネットワークの１つ以上の重みを更新すること、
    生徒ニューラルネットワークの１つ以上の重みに関連付けられた移動平均に基づいて、教師ニューラルネットワークの１つ以上の重みを更新すること、及び、
    損失値が閾値未満であることに応答して、生徒ニューラルネットワークがトレーニングされていると決定すること、を備える方法。
  17. 第１の拡張ルーチンは、変換ルーチン、回転ルーチン、スケーリングルーチン、フリッピングルーチン、又は、それらの組み合わせであり、
    第２の拡張ルーチンは、ノイズ拡張ルーチンである請求項１６に記載の方法。
  18. 教師ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて、複数の教師ベースの境界ボックスを生成することは、
    レーダー入力に基づいて１つ以上のレーダーベースの特徴を抽出し、ライダー入力に基づいて１つ以上のライダーベースの特徴を抽出すること、
    １つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成すること、
    複数のレーダーベースの候補境界ボックスと複数のライダーベースの候補境界ボックスとを連結して、テンソルを生成すること、及び、
    テンソルに対して回帰ルーチンを実行して、複数の教師ベースの境界ボックスを生成すること、をさらに備える請求項１６に記載の方法。
  19. 生徒ニューラルネットワークを使用し、レーダー入力及びライダー入力に基づいて複数の生徒ベースの境界ボックスを生成することは、
    レーダー入力に基づいて１つ以上のレーダーベースの特徴を抽出し、ライダー入力に基づいて１つ以上のライダーベースの特徴を抽出すること、
    １つ以上のレーダーベースの特徴に基づいて複数のレーダーベースの候補境界ボックスを生成し、１つ以上のライダーベースの特徴に基づいて複数のライダーベースの候補境界ボックスを生成すること、
    複数のレーダーベースの候補境界ボックスと複数のライダーベースの候補境界ボックスとを連結して、テンソルを生成すること、及び、
    テンソルに対して回帰ルーチンを実行して、複数の生徒ベースの境界ボックスを生成すること、をさらに備える請求項１６に記載の方法。
  20. 生徒ニューラルネットワークの１つ以上の重みに関連付けられた移動平均は指数移動平均である請求項１６に記載の方法。
JP2022155157A 2021-10-27 2022-09-28 ライダーセンサとレーダーセンサを使用して物体検出を実行するニューラルネットワークをトレーニングするためのシステム及び方法 Active JP7383856B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163263103P 2021-10-27 2021-10-27
US63/263,103 2021-10-27
US17/832,906 2022-06-06
US17/832,906 US20230130588A1 (en) 2021-10-27 2022-06-06 System and method for training a neural network to perform object detection using lidar sensors and radar sensors

Publications (2)

Publication Number Publication Date
JP2023065307A true JP2023065307A (ja) 2023-05-12
JP7383856B2 JP7383856B2 (ja) 2023-11-21

Family

ID=83994970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022155157A Active JP7383856B2 (ja) 2021-10-27 2022-09-28 ライダーセンサとレーダーセンサを使用して物体検出を実行するニューラルネットワークをトレーニングするためのシステム及び方法

Country Status (4)

Country Link
US (1) US20230130588A1 (ja)
EP (1) EP4174522A1 (ja)
JP (1) JP7383856B2 (ja)
CN (1) CN116030444A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11892563B1 (en) * 2023-08-21 2024-02-06 Project Canary, Pbc Detecting human presence in an outdoor monitored site

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3525000B1 (en) 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene
US11927668B2 (en) 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning

Also Published As

Publication number Publication date
EP4174522A1 (en) 2023-05-03
US20230130588A1 (en) 2023-04-27
CN116030444A (zh) 2023-04-28
JP7383856B2 (ja) 2023-11-21

Similar Documents

Publication Publication Date Title
US10592805B2 (en) Physics modeling for radar and ultrasonic sensors
Chen et al. Gaussian-process-based real-time ground segmentation for autonomous land vehicles
US9870512B2 (en) Lidar-based classification of object movement
JP2019055768A (ja) ビークルの自律動作能力の構成
US20170227647A1 (en) Vehicle and method of recognizing position of vehicle based on map
CN113158763A (zh) 4d毫米波和激光点云多视角特征融合的三维目标检测方法
US20210063560A1 (en) Estimating In-Plane Velocity from an Arbitrary Radar Return
JP2018194562A (ja) 道路境界検出方法及び装置
KR102374211B1 (ko) 객체 인식 방법 및 이를 수행하는 객체 인식 장치
EP4130798A1 (en) Target identification method and device
US20210072397A1 (en) Generation of synthetic lidar signals
Lee et al. Fast road detection by cnn-based camera–lidar fusion and spherical coordinate transformation
US11967103B2 (en) Multi-modal 3-D pose estimation
WO2020191727A1 (zh) 一种雷达功率控制方法及装置
CN112505671B (zh) Gnss信号缺失环境下毫米波雷达目标定位方法及装置
KR20230026130A (ko) 자율 주행을 위한 단일 계층 3차원 다중 객체 검출 장치 및 방법
JP7383856B2 (ja) ライダーセンサとレーダーセンサを使用して物体検出を実行するニューラルネットワークをトレーニングするためのシステム及び方法
CN112823353A (zh) 使用机器学习进行对象定位
JP2017116445A (ja) 物体検出装置
CN114663857A (zh) 一种点云目标检测方法、装置和域控制器
US20230112664A1 (en) Systems and methods for detecting objects based on lidar data
Venugopala Comparative study of 3D object detection frameworks based on LiDAR data and sensor fusion techniques
US20230162382A1 (en) Method and system for determining lidar intensity values, and training method
US20220404490A1 (en) Radar-based method and apparatus for generating a model of an object relative to a vehicle
US11760412B2 (en) Systems and methods for controlling a vehicle localization routine

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R150 Certificate of patent or registration of utility model

Ref document number: 7383856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150