JP2022500762A - 動的空間シナリオの分析 - Google Patents

動的空間シナリオの分析 Download PDF

Info

Publication number
JP2022500762A
JP2022500762A JP2021514045A JP2021514045A JP2022500762A JP 2022500762 A JP2022500762 A JP 2022500762A JP 2021514045 A JP2021514045 A JP 2021514045A JP 2021514045 A JP2021514045 A JP 2021514045A JP 2022500762 A JP2022500762 A JP 2022500762A
Authority
JP
Japan
Prior art keywords
vehicle
sensor data
self
depiction
scenario
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021514045A
Other languages
English (en)
Inventor
ハリル・ベグレロビッチ
ヨーナス・リュプザム
ステフェン・メッツナー
Original Assignee
アーファオエル・リスト・ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アーファオエル・リスト・ゲーエムベーハー filed Critical アーファオエル・リスト・ゲーエムベーハー
Publication of JP2022500762A publication Critical patent/JP2022500762A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Combustion & Propulsion (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、動的空間シナリオ(10)のデータ処理のための方法及びシステム(100)と、人工ニューラルネットワーク(1)を訓練するためのコンピュータ支援による方法及びシステム(200)と、センサデータを分析するためのコンピュータ支援による方法及びシステム(300)と、に関する。自己オブジェクト(11a)の視点から、他のオブジェクト(12、12a、12b、12c)によって覆われる角度セクタの経時的変化の描写(20)が作成される。このために、経時的変化がセンサデータから特定され、当該センサデータは、動的空間シナリオ(10)を、自己オブジェクト(11a)と少なくとも1つの他のオブジェクト(12、12a、12b、12c)とに関して特徴付けるために適している。

Description

本発明は、人工ニューラルネットワークによる処理のための動的空間シナリオのデータ処理のための方法及びシステムと、人工ニューラルネットワークを訓練するためのコンピュータ支援による方法及びシステムと、センサデータを分析するためのコンピュータ支援による方法及びシステムと、に関する。
最新の車両には、特定の運転状況において運転者を支援する運転者支援システム(英語では先進運転支援システム(ADAS))を装備することが増えている。当該支援は、関連する可能性を有する情報の単なる表示(例えば車線変更アシスタントによる警告の出力)から、半自律的介入(例えばアンチロックブレーキシステムによる、車軸に加えられるトルクの制御)、重要車両の制御への完全自律的介入(例えば車間距離制御を通じた適応速度制御。英語では適応走行制御(ACC))にまで及んでいる。
このような運転者支援システムの基盤を形成しているのは、一般的にはセンサデータ、例えば超音波センサ、レーダーセンサ又はカメラによって供給される信号であり、当該センサデータを用いて、現在の運転状況が決定され、当該運転状況に反応して、その時々の運転者支援システムの機能が実行され得る。特に、車両の制御に(自律的に)介入する運転者支援システムにおいては、現在の運転状況を、センサデータに基づいて、極めて高い信頼度で分類することが可能でなければならない。
この際、一般的に、運転状況に割り当てられる特定の規則又は基準が作成され、当該規則又は基準を満たす場合には、既知の運転状況の存在が推測され得る。この際、規則又は基準を満たされると、例えば運転者支援システムの動作の作動装置として作用する。例えば隣の車両が、自車(Ego-Fahrzeug)と呼ばれる、運転者支援システムが装備された車両の前で、隣の車両が同じ車線に進入するという交通シナリオは、センサによって検出される隣の車両との走行方向に対して垂直な横方向間隔が減少し、隣の車両が、自車の目前に存在する場合に、最終的に少なくとも略ゼロの値をとることによって認識され得る。
このような運転状況又はシナリオを(確実に)認識するために適したアルゴリズムのプログラミングは、一般的に極めて複雑であり、特に考慮すべき運転状況が多数の場合は、不可能なことさえある。従って、運転状況を指示するセンサデータ内の特徴を自動的に発見するために、機械学習がより一層用いられる。基礎として用いられるセンサデータは、一般的に、例えば様々な運転状況に関して手動で分類されたセンサデータ(英語ではラベル付センサデータ(labeled sensor data))であり、当該センサデータを用いて、例えば人工ニューラルネットワークは、その時々の運転状況に関する重要な基準を抽出することができる。この際、分類されたセンサデータは一般的に、所定の形で存在しなくてはならず、すなわち、人工ニューラルネットワークによって有意義に処理され得るために適切に準備されていなければならない。
このような処理のためのアプローチは、いわゆるグリッドマップであり、グリッドマップは、対応する運転状況を俯瞰的に示したものである。この際、基礎を成している運転状況の動態は、例えば各道路利用者が時間の経過の中で占める位置の全てを、対応するグリッドマップに描くことによって表現される。
このようなグリッドマップは、例えば非特許文献1で議論されている。
非特許文献2では、車両−自転車運転者シナリオの分類に関する様々なアルゴリズムが比較されている。この際、指導された学習(教師あり学習)の場合、いわゆる分類子を訓練するために、タグ付オブジェクト(ラベル付オブジェクト)の訓練セットが用いられる。訓練後、分類子は、新しい未知のシナリオを、評価されたグループに割り当てることによって、当該シナリオにタグを付けることができる。
Gruner et. al, "Spatiotemporal Representation of Driving Scenarios and Classification using Neural Networks, IEEE Intelligent Vehicle Symposium, 2017, p.1782-1788. Cara and de Gelder, "Classification for safety-critical car-cyclist scenarios using machine learning", IEEE 18th International Conference on Intelligent Transportation Systems, 2015, p.1955-2000.
本発明の課題は、動的空間シナリオを、自己オブジェクト(Ego-Objekt(独語))及び少なくとも1つの他のオブジェクトに関して特徴付けるために適したセンサデータの処理を、さらに改善することにある。特に、本発明の課題は、人工ニューラルネットワークによる処理のための当該センサデータの処理を改善すること、特に処理の際の情報損失を防止するか、又は、少なくとも減少させることにある。
本課題は、独立請求項に記載された、データ処理のための方法及びシステムと、人工ニューラルネットワークの訓練のための方法及びシステムと、センサデータの分析のための方法及びシステムと、によって解決される。
本発明の第1の態様は、人工ニューラルネットワークによる処理のための動的空間シナリオ、特に交通シナリオのデータ処理のための方法に関する。この際、自己オブジェクト、特に自車の視点から、他のオブジェクト、特に他車によって覆われる角度セクタの経時的変化の描写が作成される。このために、経時的変化は、センサデータから特定されており、当該センサデータは、動的空間シナリオを、自己オブジェクト及び少なくとも1つの他のオブジェクトに関して特徴付けるために適している。
本発明の意味における空間シナリオは特に、空間的、特に静的な場面の時系列から形成される。この際、空間的な場面は、例えば少なくとも1つの他のオブジェクトの、自己オブジェクトに対する空間的な配置、例えば交通参加者の位置関係を示している。空間シナリオは特に、運転者支援システムが、自車と呼ばれる、運転者支援システムが装備された車両を、少なくとも部分的に制御している運転状況、例えば自車の少なくとも1つの車両機能を自律的に実施している運転状況を含み得る。
本発明の意味における動的とは特に、時系列又は時間の経過を意味している。例えば、交通シナリオは動的である。なぜなら、各交通参加者は、時間の経過の中で、互いに対して移動する、すなわち互いに対する自身の位置を変更するからである。
本発明の意味における描写とは特に、例えばグラフ又はダイアグラム等の図表である。当該描写は、好ましくは1つの、特に2次元又は3次元の図面を含んでいる。代替的又は付加的に、当該描写は、例えば代入規則又は関数等の数学的表現も含み得る。当該描写は、例えば、自己オブジェクトの視点から、他のオブジェクトによって覆われた角度セクタの経時的変化を、地図に類似した図面で示すことが可能である。
本発明の意味におけるセンサデータとは特に、現実の又はシミュレーションされたセンサ、特に環境センサによって生成された、特に信号の形におけるデータ、すなわち現実の又はシミュレーションされたセンサデータである。この際、センサは、好ましくは、自車の環境を検出し、対応するセンサデータを生成するように設定されており、これによって、当該センサデータは、自車の環境を特徴付ける。当該センサデータは、好ましくは、センサによって供給される信号の組み合わせから得られ、必要に応じて、少なくともある程度までは既に準備されているセンサフュージョンデータである。
本発明の意味における自己オブジェクトとは特に、その視点から、動的空間シナリオが観察されるオブジェクトである。自己オブジェクトは、例えば(自身の)車両であってよく、当該車両の視点から交通シナリオが検出され、必要に応じて分析及び/又は評価され、これによって、例えば運転者支援システムを適切に制御すること、又は、検出された交通シナリオに反応させることが可能になる。従って、例えばさらなる処理のために準備されるセンサデータは、好ましくは自車の環境センサによって生成され、例えば超音波センサ、レーダーセンサ、カメラ及び/又はその他の環境センサが、自車の環境を検出するために設置されている。
本発明の意味における角度セクタとは特に、自己オブジェクトの視点から、他のオブジェクトによって占められる範囲である。自車の視点からは、角度セクタは、例えば他車によって覆われる範囲に対応する。この際、好ましくは、角度セクタは、オブジェクトの横断面又はオブジェクトの輪郭によって決定される。例えば、角度セクタは、所定の方向に沿った、特に水平方向における横断面又は輪郭の最大の広がりによって決定されていてよい。
本発明は、特に、センサデータから特定された、交通状況等の動的空間シナリオに関する情報を、描写においてコード化するというアプローチに基づいている。従って、当該描写は、シナリオの抽象化であるとも理解され、特に、例えばオブジェクトの位置、変位、数及び/又はその他の、様々なタイプの情報を要約するために用いられる。
当該描写は、好ましくは、自己オブジェクトの視野が他のオブジェクトによって覆われる角度セクタの経時的変化に基づいて作成される。この際、角度セクタを用いて、特に空間的な場面内でのオブジェクトの互いに対する位置関係が説明され得る。当該描写は、好ましくは図表であり、特に2次元又は3次元の図面であり、オブジェクトの位置も、互いに対する移動も、抽象的に示している。例えば、図面においてオブジェクトの動きは、1つの、特に幾何学的な形状によって表現され得る。
好ましくは、このような図面の分析に基づいて、特徴的な形状が発見され得る。この際、当該形状は、特に自己オブジェクトと少なくとも1つの他のオブジェクトとに関する動的空間シナリオに関して特徴的である。言い換えると、この特徴的な形状は、例えば人工ニューラルネットワークを用いて、センサデータに基づいて作成された描写の分析によって、場合によっては複数の当該描写の分析によっても発見され得るモデルである。
逆に、様々な動的空間シナリオに関する特徴的な形状又はモデルが既知であり、例えばパターンとして存在している場合にも、描写の評価を基に、対応する動的空間シナリオを特定することが可能である。
角度セクタの経時的変化に基づく動的空間シナリオの描写は、その情報内容が、シナリオの変型例に依存しないか、又は、少なくともわずかにのみ依存するという利点を有している。例えば特に速く、又は、特にゆっくりと実施される走行操舵といった、様々なシナリオの変型例は、描写において異なる図面を形作るが、概ね同じか、又は、少なくとも類似の形状を有している。
例えば、自車の視野に関して他車によって覆われ、従って他車の自車に対する位置を表している角度セクタを、時間に対して描画することによってモデルが生じ、当該モデルの形状は、他車によって実施される走行操舵に関して特徴的である。他車が例えば自車から遠ざかる場合、覆われる角度セクタは概ね小さくなるが、接近する場合には、対応して大きくなる。他車が例えば走行方向に関して、自車に対して横に移動する場合、覆われた角度セクタは変位する。この際に生じる、例えば特徴的な曲線を有するモデルは、図面が、例えば乱暴な又は安全な走行操舵の実施に依存して、一般的には例えば伸縮するように変化するとしても、走行操舵に確実に分類され得る。
従って、角度セクタの経時的変化の描写は、様々なタイプの情報をコンパクトに要約することを可能にする。この際、時系列が示されているので、例えば図形要素の重複と、それに伴う情報損失とは、回避されるか、又は、少なくとも減少する。同時に、例えば記憶容量を削減し、センサデータの評価を速めることが可能である。同時に、当該描写は、動的空間シナリオの確実な識別を可能にする。
グリッドマップに対して、角度セクタの経時的変化の描写は、例えば同じ情報をはるかに少ないデータ量で描出することができるという利点を有している。グリッドマップでは、他車によって占められていない各ピクセル(すなわち「空の」ピクセル)は、例えば人工ニューラルネットワークによって利用され得る情報内容には寄与しない。特に、人工ニューラルネットワークを訓練するために必要なデータ量は、角度セクタの経時的変化の描写を用いることによって、係数27の分削減され得る。
全体として、本発明は、センサデータの処理をさらに改善することを可能にする。特に、人工ニューラルネットワークによる処理のためのセンサデータの準備は、例えば準備の際の情報損失が防止されるか、又は、少なくとも削減されることによって改善され得る。
以下に、本発明の好ましい実施形態とそのさらなる発展形態とを記載するが、これらはそれぞれ、明確に除外されない限り、任意で互いに、及び、本発明のさらなる記載された態様と組み合わせられ得る。
好ましい実施形態において、当該描写は、人工ニューラルネットワークに出力されるか、又は、人工ニューラルネットワークによる処理のために供給される。例えば、当該描写はデータパケットとして、特にデジタル画像として、記憶媒体に記憶されるか、又は、インターフェースを通じて直接人工ニューラルネットワークに伝達され得る。これによって、人工ニューラルネットワークを訓練するため、特に所定のシナリオに関して特徴的なモデルを特定するための大量のセンサデータも、例えば描写における図形の形状のように、描写において考慮され得る。
本発明の第2の態様は、センサデータに基づいて人工ニューラルネットワークを訓練するための、コンピュータ支援による方法に関するものであり、当該センサデータは、既知の動的空間シナリオを、自己オブジェクトと少なくとも1つの他のオブジェクトとに関して特徴付けるために適している。この際、自己オブジェクト、特に自車の視点から、他のオブジェクト、特に他車によって覆われている角度セクタの経時的変化の描写は、センサデータに基づいて作成される。作成された描写は、空間シナリオに関する情報と共に、人工ニューラルネットワークに供給される。これによって、人工ニューラルネットワークは、特に高速かつ確実に、様々なシナリオに関して特徴的なモデルを認識するよう訓練され得る。
この際、空間シナリオに関する情報は、好ましくは、シナリオの分類(英語ではラベル付け)に関する指示を含んでおり、当該指示を用いて、シナリオが好ましくは一義的に識別され得る。この際、当該情報は、例えばシミュレータによって特定のシナリオのシミュレーションの際に生成された、シミュレーションされたセンサデータである場合、既にセンサデータに含まれていてよい。代替的に、当該情報は、例えばセンサデータが既に予め分析され、少なくとも1つのシナリオに関して分類されている場合、人工ニューラルネットワークに別個のデータ流としても供給され得る。この分類は、例えばセンサデータに対応する画像ストリームの分析によって、特に手動で実施されていてよい。
本発明の第3の態様は、センサデータを分析するためのコンピュータ支援による方法に関するものであり、当該センサデータは、動的空間シナリオを、自己オブジェクトと少なくとも1つの他のオブジェクトとに関して特徴付けるために適している。この際、自己オブジェクト、特に自車の視点から、他のオブジェクト、特に他車によって覆われている角度セクタの経時的変化の描写は、センサデータに基づいて作成される。作成された描写は、既知の動的空間シナリオの少なくとも1つの所定のパターンと比較される。これによって、例えば車両の環境センサによって供給されるようなセンサデータ流に基づいて、既知のシナリオの存在が、特に高速かつ確実に認識され得る。
所定のパターンは、好ましくは、例えばシナリオの全ての基本的な特徴的モデルを含む、角度セクタの経時的変化の包括的な描写である。例えば、所定のパターンは、少なくとも1つの図形を含む描写であってよく、当該図形の形状は、交通シナリオの範囲内で実施される車両の走行操舵に関して特徴的である。
好ましくは、所定のパターンは、既知の動的空間シナリオに関して特徴的である複数の描写に基づいて特定される。特に、既知のシナリオに関して特徴的である複数の描写は、平均化され得る。この際、当該描写は、例えば予め、シナリオに関して分類されたセンサデータから作成されていてよい。これによって、作成された描写を所定のパターンと比較する際に、高い程度の信頼性が得られる。
好ましい実施形態において、動的空間シナリオは、例えば特定された描写が少なくとも1つの所定のパターンに割り当てられることによって、比較に基づいて分類される。これによって、シナリオは、確実に識別され、必要に応じて運転者支援システムの反応が引き起こされ得る。
好ましくは、作成された描写を所定のパターンと比較する際に、類似度が特定され、当該類似度に基づいて、シナリオが例えば分類され、作成された描写はシナリオに割り当てられ得る。例えば、作成された描写を、シナリオの所定のパターン上に、作成された描写が、伸縮性適合のための方法(英語では伸縮整合又は非線形テンプレート照合)を用いて、最も良好に描画されるような、すなわち、当該描写に関して、当該方法によって得られる類似性が最大になるようなシナリオに割り当てることが考えられる。これによって、シナリオは、特に確実に識別され得る。
さらなる好ましい実施形態において、作成された描写を、既知の動的空間シナリオの少なくとも1つの所定のパターンに割り当てることができない場合、新しい動的空間シナリオに関して、パターンが決定される。これによって、新しい動的シナリオが識別、特に分類され得る。従って、特に、新しい動的シナリオが、概ねリアルタイムに識別され得る。
例えば、作成された描写の比較の際に特定される類似度が、所定の閾値に到達しない場合、新しい動的空間シナリオに関するパターンが決定され得る。これによって、容易に、特にリアルタイムに、既知の動的空間シナリオの所定のパターンのカタログが作成され得る。
さらなる好ましい実施形態において、作成された描写はさらに、自己オブジェクトと他のオブジェクトとの間隔、特に横方向の間隔、及び/又は、自己オブジェクトの速度、特に横方向の速度を表現しており、当該間隔及び/又は当該速度は、同様にセンサデータから特定されている。この際、対応する間隔情報又は速度情報は、好ましくは描写においてコード化されているので、当該情報を、少なくとも自己オブジェクトに対する他のオブジェクトの空間配置とは無関係に、読み出すことが可能である。間隔及び/又は速度の考慮によって、存在している動的空間シナリオを特に確実に識別することが可能である。特に、間隔及び/又は速度の考慮は、様々な動的空間シナリオの特に細かい区別も可能にする。
自己オブジェクトの速度は、特に横方向速度、すなわち自己オブジェクトの主な(長手方向の)移動方向、例えば走行方向、に対して略垂直な速度成分を有し得る。好ましくは、作成された描写において表現される自己オブジェクトの速度は、専ら横方向速度から形成されている。
直進の場合、自車の横方向速度は、例えばゼロであるが、車線変更の際には、最大値まで増加し、その後で再びゼロまで低下する。
描写において表現された速度に基づいて、例えば自車によって実施される車線変更と、他車によって実施される車線変更とが区別され得る。これら両方の走行操舵は、自車と他車との互いに対する相対運動に関して区別されないので、すなわち、両方の場合において描写は例えば同じ図形を示すので、自車の横方向速度を考慮することによって初めて、いずれの車両が車線を変更するのかに関する確実な陳述が可能になる。
自己オブジェクトと他のオブジェクトとの間隔は、特に横方向間隔、すなわち自己オブジェクトの主な(長手方向の)移動方向、例えば走行方向、に対して略垂直な間隔成分を有し得る。好ましくは、作成された描写において表現される自己オブジェクトと他のオブジェクトとの間隔は、専ら横方向間隔から形成されている。
例えば、自車が、隣車線の他車に追い越される場合、自車と他車との絶対的な間隔は変化する。しかしながら、横方向間隔は、自車も他車もそれぞれの車線を離れない限り、一定であり続ける。従って、横方向間隔の変化は、例えばシナリオの範囲内で実施された操舵に関する(さらなる)逆推論を可能にする。
さらなる好ましい実施形態では、角度セクタの経時的変化が、その幅がその時々に存在する角度セクタの値を示している線によって表される。代替的又は付加的に、自己オブジェクトと他のオブジェクトとの間隔、及び/又は、自己オブジェクトの速度が、格納された値、又は、間隔及び/若しくは速度の存在する時点に対応する線上のその時々の位置の着色によって表される。
格納された値又は線の着色を、代替的又は付加的に、関数、特に汎用関数によって決定することが可能であり、当該関数には、入力変数として、例えば自己オブジェクトと他のオブジェクトとの間隔、特に横方向間隔、及び/又は、自己オブジェクトの速度、特に横方向速度が入力される。関数を用いて、例えば間隔及び速度が、必要な場合には重み付けを考慮して、加算又は乗算され得る。特に、速度が間隔で、又は、間隔が速度で加重され得る。これによって得られる、描写において、又は、格納された値によって表現される情報は、走行操舵又は走行操舵に対応する動的空間シナリオの、特に確実かつ詳細な区別を可能にする。
この際、関数は、好ましくは人工ニューラルネットワークの認知を操作するために用いられる。言い換えると、関数は、関数の結果として生じる描写が、人工ニューラルネットワークによって認識されるモデルに影響を与えるように選択され得る。これによって、異なる動的空間シナリオが、特に確実に区別され得る。
代替的又は付加的に、別のパラメータも、自己オブジェクトと他のオブジェクトとの間隔として、及び/又は、自己オブジェクトの速度が、関数の入力変数として選択され得る。パラメータは、例えば動的空間シナリオ、特に既知の動的空間シナリオに依存して選択され得る。好ましくは、動的空間シナリオを少なくとも部分的に特徴付けるパラメータが、入力変数として選択される。
本発明の第4の態様は、人工ニューラルネットワークによる処理のための動的空間シナリオ、特に交通シナリオのデータ準備のためのシステムに関する。当該システムは、特定モジュールを有しており、当該特定モジュールは、自己オブジェクト、特に自車の視点から、他のオブジェクト、特に他車によって覆われる角度セクタの経時的変化を、センサデータから特定するように設定されている。この際、センサデータは、動的空間シナリオを、自己オブジェクト及び少なくとも1つの他のオブジェクトに関して特徴付けるために適している。当該システムはさらに、特定された経時的変化の描写を作成するように設定された作成モジュールを有している。
本発明の第5の態様は、既知の動的空間シナリオを、自己オブジェクト及び少なくとも1つの他のオブジェクトに関して特徴付けるために適したセンサデータに基づいて、人工ニューラルネットワークを訓練するためのシステムに関する。当該システムは、作成モジュールを有しており、作成モジュールは、自己オブジェクト、特に自車の視点から、他のオブジェクト、特に他車によって覆われている角度セクタの経時的変化の描写を、センサデータに基づいて作成するように設定されている。当該システムは、さらに、作成された描写を、空間シナリオに関する情報と共に、人工ニューラルネットワークに供給するように設定されたインターフェースを有している。
本発明の第6の態様は、動的空間シナリオを、自己オブジェクト及び少なくとも1つの他のオブジェクトに関して特徴付けるために適したセンサデータを分析するためのシステムに関する。当該システムは、作成モジュールを有しており、作成モジュールは、自己オブジェクト、特に自車の視点から、他のオブジェクト、特に他車によって覆われている角度セクタの経時的変化の描写を、センサデータに基づいて作成するように設定されている。当該システムはさらに、作成された描写を、既知の動的空間シナリオの少なくとも1つの所定のパターンと比較するように設定された比較モジュールを有している。
本発明の第1の態様とその有利な構成とに関して記載された特徴及び利点は、少なくとも技術的に有意義である場合には、本発明の第2、第3、第4、第5及び第6の態様とそれらの有利な構成とにも適用され、逆もまた同様である。
本発明のさらなる特徴、利点及び適用可能性は、図面に関連した以下の説明から明らかであり、これらの図面では一貫して、本発明の同じ要素又は互いに対応する要素には、同じ参照符号が用いられる。図面において、以下の対象が少なくとも部分的に概略的に示されている。
本発明に係るデータ処理のためのシステム、及び、本発明に係る人工ニューラルネットワークの訓練のためのシステムの好ましい実施例をそれぞれ示す図である。 本発明に係るセンサデータの分析のためのシステムの好ましい実施例を示す図である。 交通シナリオにおいて角度セクタを特定するための例を示す図である。 本発明に係る描写と対応する動的空間シナリオとの間の関連を説明するための第1の例を示す図である。 本発明に係る描写と対応する動的空間シナリオとの間の関連を説明するための第2の例を示す図である。 本発明に係るデータ処理のための方法、及び、本発明に係る人工ニューラルネットワークの訓練のための方法の好ましい実施例をそれぞれ示す図である。 本発明に係るデータ評価のための方法の好ましい実施例を示す図である。
図1は、本発明に係る動的空間シナリオのデータ処理のためのシステム100の好ましい実施例と、本発明に係る人工ニューラルネットワーク1の訓練のためのシステム200の好ましい実施例とを示している。データ処理のためのシステム100は、特定モジュール2と作成モジュール3とを有しており、特定モジュール2は、自己オブジェクトの視点から、他のオブジェクトによって覆われる角度セクタの経時的変化を、センサデータSから特定するように設定されており、作成モジュール3は、特定された経時的変化の描写を作成するように設定されている。人工ニューラルネットワーク1の訓練のためのシステム200は、作成モジュール3とインターフェース4とを有しており、インターフェース4は、作成された描写を、動的空間シナリオに関する情報と共に、人工ニューラルネットワーク1に供給するように設定されている。
センサデータSは、例えば自車の環境センサによって、交通シナリオの検出の際に作成され、例えば隣の車両の数、他車と自車との相対的な配置、特に相対的間隔、自車の速度、及び/又はその他、を特徴付けている。これらのセンサデータSから、特定モジュール2は、好ましくは、他車によって覆われる少なくとも1つの角度セクタが、自車の視野においてどの程度の幅を有しているか、及び、当該角度セクタが、例えば自車の走行方向に対してどの位置に配置されているかを特定することができる。
環境センサは、自車の環境を、好ましくは連続的に、少なくとも高い頻度で検出するので、結果として生じるセンサデータSから、角度セクタの経時的変化、特に角度セクタの幅の変化及び/又は自車の視点からの角度セクタの位置の変化も、特定され得る。当該経時的変化は、交通シナリオを抽象的に描く図表を作成するために、作成モジュール3によって利用され得る。言い換えると、作成モジュール3は、センサデータSに含まれた交通シナリオに関する情報を、描写において、特に圧縮された形でコード化するように設定されている。
好ましくは、センサデータSは、動的空間シナリオに関して分類されたセンサデータであり、すなわち、センサデータSは、例えば追い越し操舵又は車線変更操舵等の、交通シナリオの複数のグループの内の1つに割り当てられている。この分類は、例えば画像データ流の通覧を通じて手動で行われていてよい。従って、特定された角度セクタの経時的変化に基づいて作成された描写は、動的空間シナリオに関する情報と共に、インターフェース4によって、人工ニューラルネットワーク1に伝達され得る。
人工ニューラルネットワーク1は、好ましくは、同じ交通シナリオグループに分類されている全ての描写において、それぞれ少なくとも1つのモデルを認識するように設定されている。このように認識されたモデルを用いて、既知の交通シナリオを特徴付けるパターンが決定され得る。このように決定されたパターンは、さらなる利用のため、例えば車両の通常運転において生成されるセンサデータの評価のために、データバンク5内に保存され得る。
図2は、動的空間シナリオを、自己オブジェクト及び少なくとも1つの他のオブジェクトに関して特徴付けるために適したセンサデータSの分析のためのシステム300の好ましい実施形態を示している。システム300は、作成モジュール3を有しており、作成モジュール3は、センサデータSに基づいて、自己オブジェクトの視点から、他のオブジェクトによって覆われている角度セクタの経時的変化の描写を作成するように設定されている。システム300はさらに、比較モジュール6を有しており、比較モジュール6は、作成された描写を、既知の動的空間シナリオの少なくとも1つの所定のパターンと比較するように設定されている。このために、比較モジュール6は、好ましくは少なくとも1つの所定のパターンが保存されているデータバンク5へのアクセスを有している。
比較の結果は、比較モジュール6によって好ましい方法で出力され、例えば自車に搭載された運転者支援システムの制御のために用いられ得る。作成された描写と少なくとも1つの所定のパターンとの間に、例えば比較の際に形成される類似度の分析を通じて、例えば少なくとも1つの所定の一致度が認められる場合、既知のシナリオが存在することが推測され、比較モジュール6は、出力信号として、例えばシナリオグループを出力することができる。代替的又は付加的に、識別された走行操舵の開始及び/又は終了も出力され、特に信号によって伝えられ得る。
図3は、動的空間シナリオ10における角度セクタΦの特定例を示しており、動的空間シナリオ10では、自己オブジェクト11は、移動方向、当該図では座標系のx軸に沿って移動し、他のオブジェクト12によって囲まれている。当該例では、空間シナリオ10は、走行方向において中央車線上を移動し、隣車線上の他車12a、12bによって囲まれている自車11aを伴う交通シナリオである。
図3Aは、上空から見た交通シナリオを示しており、示された描写において、空間的な場面の時系列が要約されている。異なる時点において、他車12a、12bは、自車11aに対して異なる位置にあり、当該位置は、車両12a、12bを表す長方形の異なる模様によって示されている。この際、より濃い模様は、より過去に遡った位置に対応する。当該描写において良好に認識できるように、第1の車両12aは、外側の車線から、自車11aが使用する車線へと車線変更を行い、その際に、自車11aの前に進入している。第2の車両12bは、初めは自車11aと移動方向に関して略同じ高さにあるが、時間の経過と共に後方に下がっている。第2の車両12bの位置変更が比較的小さいことによって、当該描写では、異なる時点において第2の車両12bが占める位置は重複している。
交通シナリオの代替的な描写を作成するために、両方の車両12a、12bのそれぞれに関して、自車11aの視野において、各車両12a、12bによって覆われる範囲を表している角度セクタΦが特定され得る。これは、図3Bにおいて、例として第1の車両12aに関して示されている。自車11aの視点に関して生じる第1の車両12aの輪郭13は、実線で示されており、角度セクタΦを形成している。この際、自車11aの視点からの角度セクタΦの位置であり、従って第1の車両12aの位置でもある位置φは、例えば移動方向等の所定の方向に対して表され得る。自車11aに対する車両12aの位置が変位する場合、角度セクタΦの幅も位置φも変化し得る。
これは、図3Cに示されている。図3Cに描かれている棒グラフには、逆の、図3Aでは黒い矢印として示されていた、自車11aと他車12a、12bとの間隔dが、角度セクタΦの位置φに対して描かれているが、当該棒グラフは、図3Aに示された交通シナリオの抽象的な描写を形成している。右側の3つの棒は、第1の車両12aによって覆われる角度範囲Φに対応しており、左側の3つの棒は、第2の車両12bによって覆われる角度範囲Φに対応している。図3Aのように、異なる時点は、対応する棒の模様によって示されている。
当該図面によると、第1の車両12aによって覆われる角度範囲Φは、自車11aの前に進入する際に、0°位置の方向に移動しており、角度セクタΦの0°位置は、自車11aの眼前の位置に対応している。この際、第1の車両12aと自車11aとの間隔dが、図3Aに示されているように減少するのに応じて、第1の車両12aによって覆われる角度範囲Φの幅も増大する。角度範囲Φの幅の他にも、第1の車両12aと自車11aとの間隔dは、棒の高さにおいてもコード化されており、高さは時間が進むにつれて増大する。
これに対して、第2の車両12bによって覆われる角度範囲Φは、第2の車両12bが、自車11aよりも後方に下がるのに応じて、0°位置から離れる。この際、第2の車両12bと自車11aとの間隔は増大するので、棒の高さも幅も減少する。
図4は、本発明に係る描写20の好ましい実施例と、対応する動的空間シナリオ10との間の関連を説明するための第1の例を示している。このために、図4Aは、角度セクタΦa、Φb、Φcの経時的変化の描写20を示しており、当該角度セクタは、自己オブジェクト、例えば自車11aの視点から、他のオブジェクトによって覆われている。描写20では、時間tは、角度セクタΦa、Φb、Φcの位置φに対して描かれており、0°位置は、自己オブジェクトの眼前の位置に対応している。
角度セクタΦa、Φb、Φcの経時的変化は、線として表現されており、線の幅は、各オブジェクトと自己オブジェクトとの間隔に対応している。これによると、第1のオブジェクト、例えば第1の車両12aは、t=0の開始時点では、自己オブジェクトの前にいくらか距離を置いて存在している。これに対して、第2のオブジェクト、例えば第2の車両12bは、開始時点で、自己オブジェクトのより近くではあるが、自己オブジェクトの横の位置に存在している。概ねt=40の時点で、第2のオブジェクトは、その位置を変更し、自己オブジェクトと第1のオブジェクトとの間に移動する。第2のオブジェクトによって覆われる角度セクタΦbの経時的変化は、この時点から、第1のオブジェクトによって覆われる角度セクタΦaの変化と重複する。
概ねt=70の時点において、さらなる角度セクタΦcが、第3のオブジェクト、例えば第3の車両12cによって覆われる。第3のオブジェクトは、自己オブジェクトの横に位置しており、具体的には、第2のオブジェクトがt=0の時点で存在した自己オブジェクトの側の反対の側に位置している。第3のオブジェクトによって覆われる角度セクタΦcの位置φは、続いて、0°位置の方向に変位する。この経時的変化は、例えば、自己オブジェクトの移動方向に対して平行な第3のオブジェクトの移動によって引き起こされ得るものであり、第3のオブジェクトと自己オブジェクトとの間隔は増大する。
このような角度セクタΦa、Φb、Φcの経時的変化は、例えば、図4Bに示された動的空間シナリオ10、ここでは交通シナリオ、に関して特徴的であり得る。当該経時的変化は、図4Bにおいて、点で表された車線上の車両の軌道によって示されている。
初めに、自車11aは、位置(x=0、y=0)にあり、第1の車両12aは、概ね位置(x=60、y=0)にある。これによると、第1の車両12aは、中央車線において、概ねΔx=60の間隔を置いて、自車11aの前を走行している。第2の車両12bは、初めは、概ね位置(x=45、y=−4)にあり、隣車線において、すなわち自車11aに関して横方向にずらされて、自車11aと第1の車両12aとの間を走行している。
さらなる時間の経過の中で、第2の車両12bは、中央車線において、自車11aと第1の車両12aとの間に進入する。第2の車両12bの進入は、概ね位置(x=100、y=−4)で開始し、概ね位置(x=150、y=0)で終了する。車両12bが進入した後、自車11a、第1の車両12a及び第2の車両12bは共に、中央車線上で走行を続ける。この際、第2の車両12bが、自車11aの視点から、第1の車両12aへの視界を遮っていることによって、図4Aの対応する描写20では、依然として0°位置において1本の線のみが視認可能である。
第3の車両12cは、初めは自車11aよりも後方に位置しているので、例えば自車11aの環境センサによっては、初めは検出されない。しかしながら、第3の車両12cは、自車11aよりも高い速度で移動するので、さらなる時間の経過の中で、y=4の別の隣車線において、自車11aを追い越す。この追い越し時点からようやく、第3の車両12cは、自車11aにとって視認可能になるので、第3の車両12cによって覆われる角度範囲Φcの経時的変化は、図4Aの対応する描写においては、当該時点からようやく開始している。
角度セクタの経時的変化によって生じる図4Aの描写20は、記載された動的空間シナリオ10に関して特徴的なモデルを有している。このようなシナリオの検出の際に繰り返し収集されたセンサデータに基づいて、このような描写が多く作成される場合、人工ニューラルネットワークは、当該モデルを習得できるか、又は、当該モデルを認識するよう訓練され得る。車両の通常運転では、その際に生成されたセンサデータから、概ねリアルタイムに、角度セクタの経時的変化が描写され、訓練された人工ニューラルネットワークによって分析され、特に習得されたモデルと比較され得る。これによって、好ましくは、既知の交通シナリオが存在するか否か、又は、どの時点で存在しているのかが特定される。
図4Cには、このような、例えば図4Aに示された描写20と対応するパターンとの比較の結果が示されており、出力信号aが時間tに対して描かれている。概ねt=30の時点で、出力信号aは6の値まで跳ね上がり、これによって、既知の交通シナリオ、この場合には第2の車両12bの進入、が存在することが信号を通じて伝えられる。概ねt=85の時点において、出力信号aはゼロの値まで戻り、これによって、進入操舵の終了が信号によって伝えられる。
走行操舵の開始及び長さに加えて、出力信号aの値によって、交通シナリオの分類も出力され得る。別の、図示されていない例では、作成された描写と様々なパターンとの比較は、例えば車線退出操舵に割り当てられたパターンとの極めて高い一致を示す可能性があり、出力信号aは、対応して別の値をとる可能性がある。
図5は、本発明に係る描写20の好ましい実施例と、対応する動的空間シナリオ10との間の関連を説明するための第2の例を示している。このために、図5Aは、動的空間シナリオ10に対応する交通状況からの一場面を示しており、この場合、自車11aの、既に第1の車両12aが走行している車線への矢印で示された進入である。第1の車両12aの他に、第2の車両12bが、別の車線を走行している。
動的空間シナリオ10の経時的変化は、図5Bにおいて、点を用いて表された車両11a、12a、12bの軌道によって示されている。初めは、自車11aは、概ね位置(x=0、y=2.5)にあり、第1の車両12aは、概ね位置(x=35、y=0)において、中央車線上を自車11aより前方で走行しており、すなわち、概ねΔx=35の間隔を置いて走行している。第2の車両12bは、初めは、概ね位置(x=25、y=−2.5)にある。
さらなる時間の経過の中で、自車11aは、概ね位置(x=60、y=2)において、中央車線への進入を開始し、概ね位置(x=100、y=0)において、進入を終了する。他の2つの車両12a、12bは、このとき、より高い速度でさらに直進するので、自車11aは、次第に再び後退する。
図5Cでは、それぞれ第1の車両12a又は第2の車両12bによって、自車11aの視点から覆われる角度セクタΦa、Φbの経時的変化が、描写20に示されている。この際、時間tが、角度セクタΦa、Φbの位置φに対して描かれている。図5cに書き入れられた0°位置は、自車11aの眼前の位置に対応する。
時間が経過する中で、角度セクタΦa、Φbは、0°位置の方向に変位する。なぜなら、第1の車両12a及び第2の車両12bは、上述したように速度がより高いので、自車11aから離れていくからである。自車11aが進入する時点、ここでは概ねt=30の時点、では、角度セクタΦa、Φbの経時的変化は、付加的に、0°位置の方向に湾曲する。第1の車両12aによって覆われる角度セクタΦaは、その後、0°位置に沿って延在する。なぜなら、図5A及び図5Bが示すように、第1の車両12aは、自車11aと同じ車線上で、自車11aの前方を走行するからである。
生じたモデルに基づいて、まず、第1の車両12a及び第2の車両12bに対する自車11aの相対運動に関する陳述のみがなされ得る。すなわち、角度セクタΦa、Φbの経時的変化の形状からは差し当たり、自車11aが中央車線に変更するか、又は、第1の車両12a及び第2の車両12bが、特に略同時に、それぞれ車線変更を実施し、第1の車両12aが自車11aの車線に変更し、第2の車両12bは、第1の車両12aがそれまで利用していた車線に変更するかどうかは、明確にはならない。
これら2つの場合を区別することを可能にするために、描写20は、角度セクタΦa、Φbの他に、付加的に、自車11aとそれぞれ他車12a、12bとの間隔、特に横方向間隔、及び/又は、時点tにおける自車11aの速度、特に横方向速度に関して特徴的である値を示している。この際、横方向間隔又は横方向速度は、間隔又は速度の横方向成分、すなわち図5Bに示された描写におけるy成分に関連している。
間隔及び/又は速度に関して特徴的である値は、描写20において、角度セクタの経時的変化の、色調によって示された着色として示されている。この際、暗い色調は、例えば自車11aの高い横方向速度に対応している。従って、図5Cの描写20からは、自車が、概ねt=20の時点で、横方向移動、すなわち車線の延びに対して垂直な移動を開始し、自車11aが、概ねt=30の時点で、最高横方向速度に達し、横方向移動は概ねt=40の時点で終了するということを引き出すことができる。
自車11aは、他車12a、12bの内の1つによって実施される車線変更の際、その(横方向)速度を変更しないので、この場合、自車11aの、第1の車両12aによって利用される車線への変更が推測され得る。
図6は、本発明に係るデータ処理のための方法V1の好ましい実施例と、本発明に係る人工ニューラルネットワークの訓練のための方法V2の好ましい実施例とを示している。
方法ステップS1では、センサデータが、例えば自己オブジェクトの環境のセンサによる検出を通じて生成されると共に、分類され、すなわち様々な動的空間シナリオに割り当てられる。当該分類は、例えば画像データ流の評価を通じて、例えば手動で実施され得る。代替的に、センサデータは、特に異なる動的空間シナリオのシミュレーションの際にシミュレータによって生成されたセンサデータである場合、自動的にも分類され得る。
センサデータを基に、さらなる方法ステップS2では、自己オブジェクトの視点から、他のオブジェクトによって覆われる角度セクタの経時的変化が特定され得る。例えば、他のオブジェクトの輪郭、特に横断面が特定され、その幅又は自己オブジェクトの視野における割合が決定され得る。さらに、輪郭又は横断面の幾何学的重心が特定され、自己オブジェクトの視野における幾何学的重心の位置が、特に自己オブジェクトの移動方向に対して決定され得る。
さらなる方法ステップS3では、角度セクタの経時的変化から、好ましい方法で、経時的変化を描出する描写、特に図表が作成される。このような描写において、角度セクタの経時的変化は、例えばモデル、例えば図形、を形成することができる。この際、好ましくは、センサデータが生成される各時点、又は、他のオブジェクトによって覆われる少なくとも1つの角度セクタが特定される各時点に関して、角度セクタの幅、特に自己オブジェクトの視野に占める角度セクタの割合と、自己オブジェクトの視野における、特に自己オブジェクトの移動方向に対する角度セクタの位置とが、描出される。
方法ステップS3では、好ましい方法で、描写の作成の際に、自己オブジェクトの速度、特に横方向速度、及び/又は、自己オブジェクトと他のオブジェクトとの間隔、特に横方向間隔も考慮される。特に、例えば入力変数として、好ましくは動的空間シナリオを特徴付ける、例えば速度及び/又は間隔等のパラメータが入力される関数を用いて、値が算出され、格納されるか、又は、描写が対応して着色され得る。従って、好ましくは、作成された描写は、他のオブジェクトによって覆われる角度セクタの、自己オブジェクトの視野における幅及び位置、自己オブジェクトの速度、並びに/又は、他のオブジェクトとの間隔に関する情報を供給する。
さらなる方法ステップS4では、作成された描写が、例えばインターフェースを用いて、人工ニューラルネットワークに供給され、人工ニューラルネットワークは、これによって、特に作成された描写内でモデルを認識するように訓練される。この目的のために、人工ニューラルネットワークにはさらに、好ましい方法で、方法ステップS1においてセンサデータを分類する際に用いられた動的空間シナリオに関する情報が供給されるので、人工ニューラルネットワークは、作成された描写又は認識されたモデルを、それぞれ動的空間シナリオの内の1つと相関させることができる。
図7は、本発明に係る、動的空間シナリオを自己オブジェクト及び少なくとも1つの他のオブジェクトに関して特徴付けるために適したセンサデータの分析のための方法V3の好ましい実施例を示している。センサデータは、好ましくは、自車の環境センサによって生成されたセンサデータである。
方法ステップS3では、センサデータから、角度セクタの経時的変化の描写が作成される。この際、角度セクタは、自己オブジェクトの視野における、他のオブジェクトによって覆われる範囲に相当する。このような描写は、例えば角度セクタの経時的変化がモデル、例えば図形を形成している図面であってよい。
この際、角度セクタの経時的変化は、場合によっては、別個の先行する方法ステップ(図示せず)においても、センサデータに基づいて特定され得る。
さらなる方法ステップS5では、作成された描写が、既知の動的空間シナリオの少なくとも1つの所定のパターンと比較される。これによって、いずれの動的空間シナリオに、自己オブジェクトが現在のところ存在しているのか、及び、場合によっては、運転者支援システムが対応して制御されるかが特定され得る。
任意で、さらなる方法ステップS6において、作成された描写は、作成された描写と、既知の動的空間シナリオに割り当てられた少なくとも1つの所定のパターンとの一致を見出すことができない、又は、少なくとも十分な一致を見出すことができない場合、さらなる所定のパターンとして、例えばデータバンクに保存され得る。このような方法で、動的空間シナリオを識別するために適した所定のパターンを有するカタログが、特に略リアルタイムに作成され得る。
1 人工ニューラルネットワーク
2 特定モジュール
3 作成モジュール
4 インターフェース
5 データバンク
6 比較モジュール
10 動的空間シナリオ
11 自己オブジェクト
11a 自車
12 他車
12a 第1の車両
12b 第2の車両
12c 第3の車両
13 輪郭
20 描写
100 データ処理のためのシステム
200 人工ニューラルネットワークの訓練のためのシステム
300 センサデータの分析のためのシステム
Φ 角度セクタ
φ 角度セクタの位置
S センサデータ
y 移動方向
d 間隔
a 出力信号
V1 データ処理のための方法
V2 人工ニューラルネットワークの訓練のための方法
V3 センサデータの分析のための方法
S1−S6 方法ステップ

Claims (11)

  1. 人工ニューラルネットワーク(1)による処理のための動的空間シナリオ(10)である交通シナリオのデータ処理のための方法(V1)であって、自己オブジェクト(11)、特に自車(11a)の視点から、他のオブジェクト(12)、特に他車(12a、12b、12c)によって覆われる角度セクタ(Φ)の経時的変化の描写(20)を作成するステップ(S3)を具備し、前記経時的変化は、センサデータ(S)から特定されており(S2)、前記センサデータ(S)は、前記動的空間シナリオ(10)を、前記自己オブジェクト(11)及び少なくとも1つの前記他のオブジェクト(12)に関して特徴付けることを特徴とする方法(V1)。
  2. 前記描写が、前記人工ニューラルネットワーク(1)に出力されるか、又は、前記人工ニューラルネットワーク(1)による処理のために供給される、請求項1に記載の方法(V1)。
  3. センサデータ(S)に基づいて人工ニューラルネットワーク(1)を訓練するためのコンピュータ支援による方法(V2)であって、前記センサデータは、既知の動的空間シナリオ(10)を、自己オブジェクト(11)と少なくとも1つの他のオブジェクト(12)とに関して特徴付けるために適しており、前記自己オブジェクト(11)、特に自車(11a)の視点から、前記他のオブジェクト(12)、特に他車(12a、12b、12c)によって覆われている角度セクタ(Φ)の経時的変化の描写(20)は、前記センサデータ(S)に基づいて作成され(S3)、作成された前記描写(20)は、空間シナリオ(10)に関する情報と共に、前記人工ニューラルネットワーク(1)に供給される(S4)、コンピュータ支援による方法(V2)。
  4. センサデータ(S)を分析するためのコンピュータ支援による方法(V3)であって、前記センサデータは、動的空間シナリオ(10)を、自己オブジェクト(11)と少なくとも1つの他のオブジェクト(12)とに関して特徴付けるために適しており、前記自己オブジェクト(11)、特に自車(11a)の視点から、前記他のオブジェクト(12)、特に他車(12a、12b、12c)によって覆われている角度セクタ(Φ)の経時的変化の描写(20)は、前記センサデータ(S)に基づいて作成され(S3)、作成された前記描写(20)は、既知の動的空間シナリオ(10)の少なくとも1つの所定のパターンと比較される(S5)、コンピュータ支援による方法(V3)。
  5. 前記動的空間シナリオ(10)が、比較に基づいて分類される、請求項4に記載の方法(V3)。
  6. 作成された前記描写(20)を、既知の動的空間シナリオ(10)の少なくとも1つの所定のパターンに割り当てることができない場合、新しい動的空間シナリオ(10)に関してパターンが決定される(S6)、請求項4に記載の方法(V3)。
  7. 作成された前記描写(20)がさらに、前記自己オブジェクト(11)と前記他のオブジェクト(12)との間隔(d)、及び/又は、前記自己オブジェクト(11)の速度を表現しており、前記間隔(d)及び/又は前記速度は、同様に前記センサデータ(S)から特定されている、請求項1から6のいずれか一項に記載の方法(V3)。
  8. 前記角度セクタ(Φ)の経時的変化が、幅がそれぞれ存在する前記角度セクタ(Φ)の値を表している線によって示され、並びに/又は、前記自己オブジェクト(11)と前記他のオブジェクト(12)との間隔(d)、及び/若しくは、前記自己オブジェクト(11)の速度が、格納された値、若しくは、前記間隔(d)及び/若しくは前記速度の存在する時点に対応する線上のその時々の位置の着色によって表される、請求項1から7のいずれか一項に記載の方法(V3)。
  9. 人工ニューラルネットワーク(1)による処理のための動的空間シナリオ(10)、特に交通シナリオのデータ処理のためのシステム(100)であって、
    −自己オブジェクト(11)、特に自車(11a)の視点から、他のオブジェクト(12)、特に他車(12a、12b、12c)によって覆われる角度セクタ(Φ)の経時的変化を、センサデータ(S)から特定するように設定されており、前記センサデータ(S)は、動的空間シナリオ(10)を、前記自己オブジェクト(11)及び少なくとも1つの前記他のオブジェクト(12)に関して特徴付けるために適している特定モジュール(2)、及び、
    −特定された前記経時的変化の描写(20)を作成するように設定された作成モジュール(3)、
    を有するシステム(100)。
  10. センサデータ(S)に基づいて人工ニューラルネットワーク(1)を訓練するためのシステム(200)であって、前記センサデータは、既知の動的空間シナリオ(10)を、自己オブジェクト(11)と少なくとも1つの他のオブジェクト(12)とに関して特徴付けるために適しており、
    −自己オブジェクト(11)、特に自車(11a)の視点から、他のオブジェクト(12)、特に他車(12a、12b、12c)によって覆われている角度セクタ(Φ)の経時的変化の描写(20)を、センサデータ(S)に基づいて作成するように設定されている作成モジュール(3)、及び、
    −作成された前記描写(20)を、空間シナリオ(10)に関する情報と共に、前記人工ニューラルネットワーク(1)に供給するように設定されたインターフェース(4)、
    を有するシステム(200)。
  11. センサデータ(S)を分析するためのシステム(300)であって、前記センサデータは、動的空間シナリオ(10)を、自己オブジェクト(11)と少なくとも1つの他のオブジェクト(12)とに関して特徴付けるために適しており、
    −自己オブジェクト(11)、特に自車(11a)の視点から、他のオブジェクト(12)、特に他車(12a、12b、12c)によって覆われている角度セクタ(Φ)の経時的変化の描写(20)を、センサデータ(S)に基づいて作成するように設定されている作成モジュール(3)、及び、
    −作成された前記描写(20)を、既知の動的空間シナリオ(10)の少なくとも1つの所定のパターンと比較するように設定された比較モジュール(6)、
    を有するシステム(300)。
JP2021514045A 2018-09-14 2019-09-13 動的空間シナリオの分析 Pending JP2022500762A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ATA50788/2018 2018-09-14
ATA50788/2018A AT521647B1 (de) 2018-09-14 2018-09-14 Verfahren und System zur Datenaufbereitung, zum Trainieren eines künstlichen neuronalen Netzes und zum Analysieren von Sensordaten
PCT/AT2019/060301 WO2020051618A1 (de) 2018-09-14 2019-09-13 Analyse dynamisscher räumlicher szenarien

Publications (1)

Publication Number Publication Date
JP2022500762A true JP2022500762A (ja) 2022-01-04

Family

ID=68062777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021514045A Pending JP2022500762A (ja) 2018-09-14 2019-09-13 動的空間シナリオの分析

Country Status (7)

Country Link
US (1) US20220237889A1 (ja)
EP (1) EP3850536A1 (ja)
JP (1) JP2022500762A (ja)
KR (1) KR20210060535A (ja)
CN (1) CN112673379A (ja)
AT (1) AT521647B1 (ja)
WO (1) WO2020051618A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592826B1 (ko) * 2018-10-10 2023-10-23 현대자동차주식회사 근거리 끼어들기 차량 판단 장치 및 그의 판단 방법과 그를 이용하는 차량
DE102021100395A1 (de) * 2021-01-12 2022-07-14 Dspace Gmbh Computerimplementiertes Verfahren zur Bestimmung von Ähnlichkeitswerten von Verkehrsszenarien
WO2023087248A1 (zh) * 2021-11-19 2023-05-25 华为技术有限公司 一种信息处理方法及装置
DE102022126747A1 (de) 2022-10-13 2024-04-18 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zu einer Generierung von Szenariomodellen bei autonomen Fahrvorgängen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765294A (ja) * 1993-08-23 1995-03-10 Mitsubishi Electric Corp 車両用予防安全装置
JPH09145833A (ja) * 1995-11-24 1997-06-06 Toyota Motor Corp 車載用走査レーダ装置
JPH10338057A (ja) * 1997-06-10 1998-12-22 Hitachi Ltd 自動車の自動走行制御装置および車間距離警報装置
WO2003019233A1 (de) * 2001-08-20 2003-03-06 Siemens Aktiengesellschaft Vorrichtung zur erkennung eines hindernisses
JP2011221005A (ja) * 2010-03-26 2011-11-04 Denso Corp 区画線検出装置および区画線検出方法
JP2018092505A (ja) * 2016-12-07 2018-06-14 スズキ株式会社 運転支援装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307774A (zh) * 2009-02-03 2012-01-04 大陆-特韦斯贸易合伙股份公司及两合公司 用于实施避让行动的方法和装置
CN103530605B (zh) * 2013-09-29 2017-01-25 数基科技(北京)有限公司 一种鲁棒的异常行为检测方法
DE102014213359A1 (de) * 2014-07-09 2016-01-14 Robert Bosch Gmbh Vorrichtung und Verfahren zur akustischen Untersuchung von Umgebungsobjekten eines Fortbewegungsmittels
SE1551370A1 (sv) * 2015-10-22 2017-02-07 Uniquesec Ab Testing method with virtual radar signatures for an automotive safety radar system
US11144761B2 (en) * 2016-04-04 2021-10-12 Xerox Corporation Deep data association for online multi-class multi-object tracking
US10664750B2 (en) * 2016-08-10 2020-05-26 Google Llc Deep machine learning to predict and prevent adverse conditions at structural assets
US10497143B2 (en) * 2016-11-14 2019-12-03 Nec Corporation Advanced driver-assistance system using accurate object proposals by tracking detections
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10228693B2 (en) * 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10402163B2 (en) * 2017-02-14 2019-09-03 Accenture Global Solutions Limited Intelligent data extraction
WO2019241022A1 (en) * 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765294A (ja) * 1993-08-23 1995-03-10 Mitsubishi Electric Corp 車両用予防安全装置
JPH09145833A (ja) * 1995-11-24 1997-06-06 Toyota Motor Corp 車載用走査レーダ装置
JPH10338057A (ja) * 1997-06-10 1998-12-22 Hitachi Ltd 自動車の自動走行制御装置および車間距離警報装置
WO2003019233A1 (de) * 2001-08-20 2003-03-06 Siemens Aktiengesellschaft Vorrichtung zur erkennung eines hindernisses
JP2011221005A (ja) * 2010-03-26 2011-11-04 Denso Corp 区画線検出装置および区画線検出方法
JP2018092505A (ja) * 2016-12-07 2018-06-14 スズキ株式会社 運転支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOSEPH E. BARTON ET AL.: ""Towards a Complete Human Driver Model: The Effect of Vision on Driving Performance"", PROCEEDINGS OF THE 2006 AMERICAN CONTROL CONFERENCE, JPN6023022641, 14 June 2006 (2006-06-14), US, pages 2591 - 2598, XP010929249, ISSN: 0005075160, DOI: 10.1109/ACC.2006.1656613 *

Also Published As

Publication number Publication date
AT521647A1 (de) 2020-03-15
KR20210060535A (ko) 2021-05-26
AT521647B1 (de) 2020-09-15
WO2020051618A1 (de) 2020-03-19
CN112673379A (zh) 2021-04-16
US20220237889A1 (en) 2022-07-28
EP3850536A1 (de) 2021-07-21

Similar Documents

Publication Publication Date Title
Bachute et al. Autonomous driving architectures: insights of machine learning and deep learning algorithms
JP2022500762A (ja) 動的空間シナリオの分析
Chen et al. Deepdriving: Learning affordance for direct perception in autonomous driving
JP6591842B2 (ja) 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両
JP6800575B2 (ja) 自己の乗り物のドライバを支援する方法およびシステム
Belbachir et al. Simulation-driven validation of advanced driving-assistance systems
Cheung et al. Identifying driver behaviors using trajectory features for vehicle navigation
US11501449B2 (en) Method for the assessment of possible trajectories
WO2018162933A1 (en) Improved object recognition system
JPWO2021007106A5 (ja)
KR20180048407A (ko) 차선 검출 장치 및 방법
CN111178286B (zh) 姿态轨迹预测方法、装置及电子设备
US11645360B2 (en) Neural network image processing
CN111971725B (zh) 用于确定车辆的变道说明的方法、可读存储介质以及车辆
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
CN116142233A (zh) 载具灯分类系统
Herman et al. Pedestrian behavior prediction for automated driving: Requirements, metrics, and relevant features
Greer et al. On salience-sensitive sign classification in autonomous vehicle path planning: Experimental explorations with a novel dataset
JP2023540613A (ja) 運転者支援システムを試験するための方法およびシステム
US20220266854A1 (en) Method for Operating a Driver Assistance System of a Vehicle and Driver Assistance System for a Vehicle
EP4224434A1 (en) Apparatus and method for evaluating a machine learning model used for assisted or autonomous driving of a vehicle
Zyner Naturalistic driver intention and path prediction using machine learning
Thal et al. Clustering-Based Trajectory Prediction of Vehicles Interacting with Vulnerable Road Users
US11648962B1 (en) Safety metric prediction
US11651583B2 (en) Multi-channel object matching

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240325

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240527