JP2023098864A - グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法 - Google Patents
グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法 Download PDFInfo
- Publication number
- JP2023098864A JP2023098864A JP2022211313A JP2022211313A JP2023098864A JP 2023098864 A JP2023098864 A JP 2023098864A JP 2022211313 A JP2022211313 A JP 2022211313A JP 2022211313 A JP2022211313 A JP 2022211313A JP 2023098864 A JP2023098864 A JP 2023098864A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- graph
- traffic scene
- data
- scene data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000002123 temporal effect Effects 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims description 47
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000010391 action planning Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000002372 labelling Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】本発明は、交通シーン環境モデル化の分野に関し、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法が提供される。【解決手段】本方法は、交通シーンデータに対して、一律に定義されたデータ表現を作成するステップ(S1)と、一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築するステップ(S2)であって、当該グラフは、当該交通シーン内のエンティティ間の時間及び/又は空間関係を描画する、ステップ(S2)と、構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、当該交通シーンデータから特徴を抽出するステップ(S3)と、を含む。本発明はまた、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置及びコンピュータプログラム製品にも関する。【選択図】図1
Description
本発明は、グラフニューラルネットワーク基づいて交通シーンデータの特徴を抽出する方法に関し、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置及びコンピュータプログラム製品に関する。
背景技術
現在、深層学習技術は、さまざまな自動運転機能、例えば、検知、予測、計画を実現するための強力なツールとして、自動運転分野でますます注目されている。典型的な適用シーンにおいては、シーン深層学習技術は、交通シーンからの大量のデータに基づいて、交通シーンの環境モデルを作成することができる。しかし、この交通シーンからのデータは、通常、異なるセンサ(例えば、異なるサプライヤの画像センサ、LiDARセンサ、及び/又は、位置センサなど)から、さらには異なるデータソース(例えば、センサ、車載地図、及び/又は、路側機など)から取得されるため、このデータの品質及び/又は仕様は、互いに大きく異なっている。深層学習技術にはデータの品質及び/又は仕様に関する厳しい要件があるため、深層学習技術の利用に悪影響を及ぼすことは間違いない。
現在、深層学習技術は、さまざまな自動運転機能、例えば、検知、予測、計画を実現するための強力なツールとして、自動運転分野でますます注目されている。典型的な適用シーンにおいては、シーン深層学習技術は、交通シーンからの大量のデータに基づいて、交通シーンの環境モデルを作成することができる。しかし、この交通シーンからのデータは、通常、異なるセンサ(例えば、異なるサプライヤの画像センサ、LiDARセンサ、及び/又は、位置センサなど)から、さらには異なるデータソース(例えば、センサ、車載地図、及び/又は、路側機など)から取得されるため、このデータの品質及び/又は仕様は、互いに大きく異なっている。深層学習技術にはデータの品質及び/又は仕様に関する厳しい要件があるため、深層学習技術の利用に悪影響を及ぼすことは間違いない。
従来技術において、交通シーンのデータソースから特徴を抽出するための多くの方法が提案されており、これらの特徴を使用して交通シーンの環境モデルを作成し、車両又はVRU(Vulnerable Road Users、損傷を受けやすい道路利用者)の動き予測、この車両の行動計画などに使用することができる。しかし、これらの方法はいずれも、人手で設計されたモデル化に焦点を当て、特定の交通シーンに強く依存するか、又は、単に効果的な情報抽出のために構造的に最適化されるかのいずれかであるため、使用には限界がある。こうした状況において、交通シーン環境のモデル化に深層学習技術をより活用するために、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法を提供することが期待されている。
発明の概要
本発明の目的は、従来技術の問題の少なくとも一部を解決するために、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置及びコンピュータプログラム製品を提供することである。
本発明の目的は、従来技術の問題の少なくとも一部を解決するために、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置及びコンピュータプログラム製品を提供することである。
本発明の第1の態様によれば、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法が提供され、当該方法は、
交通シーンデータに対して、一律に定義されたデータ表現を作成するステップ(S1)と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築するステップ(S2)であって、当該グラフは、当該交通シーンのエンティティ間の時間及び/又は空間関係を描画する、ステップ(S2)と、
構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、当該交通シーンデータの特徴を抽出するステップ(S3)と、
を含む。
交通シーンデータに対して、一律に定義されたデータ表現を作成するステップ(S1)と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築するステップ(S2)であって、当該グラフは、当該交通シーンのエンティティ間の時間及び/又は空間関係を描画する、ステップ(S2)と、
構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、当該交通シーンデータの特徴を抽出するステップ(S3)と、
を含む。
本発明は、特に以下の技術思想を含む。異なるデータソースからの並びに異なる仕様及び/又は品質を有する交通シーンデータに対して、一律に定義されたデータ表現を作成し、一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し、グラフは、当該交通シーン内のエンティティ間の時間及び/又は空間関係を描画することができ、また、グラフニューラルネットワークの優れた学習機能を利用して特徴抽出を完了するため、高度に抽象化された堅牢性が高く互換性のあるデータモデル化を実現することができる。
本発明の意味において、「一律に定義する」とは、以下のように理解することができる。異なるデータソースからのデータを互いに共通する形式で表現することができるようにし、当該形式は、例えば、点、矢印、正方形、多角形又は分割などである。点で表現されたデータとベクトルで表現されたデータとを共通に使用することができるということに留意されたい。特に、データを一律のメトリックを有する形式で表現することができる。異なるデータソースからのデータは、既存のデータセットであるものとしてもよく、又は、異なるサプライヤのセンサ(例えば、画像センサ、LiDARセンサ、及び/又は、位置センサなど)からの画像若しくは点群、及び/又は、異なるサプライヤによって提供された高精度地図から得られるものとしてもよく、又は、異なる機能モジュール(例えば、検知、予測、計画などのモジュール)の出力(例えば、診断結果、インスタンス分割など)から得られるものとしてもよく、又は、シミュレーション若しくはゲームのデータなどから得られるものとしてもよい。任意選択的に、当該データ表現は、幾何学情報及び注釈情報を含むものとしてもよく、当該幾何学情報及び注釈情報は、一緒に記憶されるものとしてもよい。
深層学習アルゴリズムは、データへの依存度が高く、そのようなデータの品質及び/又は、仕様が互いに異なることによって、深層学習アルゴリズムの性能に悪影響を及ぼす可能性があることに留意されたい。例示的に、車両の重複する部分が異なる仕様でボックスに含まれる可能性があり、またボックスから除外される可能性があるので、バウンディングボックスの定義は、予測アルゴリズムの精度に影響を与える可能性がある。2つの異なる検知モジュール(例えば、異なるサプライヤによって提供されたセンサ)は、異なる検知の不確実性を有し、両方の検知モジュールからのデータを使用するときに問題を生じさせることは間違いないであろう。
ここでは特に、以下の利点が実現される。交通シーン内の各エンティティの情報をわずかに変更するだけで、データ再構築又はデータ再編成を実現することができ、これは、後続の方法ステップにおいて、グラフを構築するために使用される。
任意選択的に、構築されたグラフにおいて、当該グラフのノードは、当該交通シーン内のエンティティを表現し、当該グラフの辺は、当該ノード間の時間及び/又は空間関係を表現する。当該交通シーン内のエンティティは、車線境界、交通信号若しくは交通標識、交通参加者、障害物、及び/又は、インスタンスを含む。本発明の意味において、「ノード間の時間及び/又は空間関係」は、ノード間の時間関係、ノード間の空間関係、並びに、ノード間の時間及び空間関係を含む。
任意選択的に、抽出された特徴は、高度に抽象化された特徴であり、交通シーンの環境モデルを構築するために使用されるものとしてもよい。
任意選択的に、当該方法は、
当該グラフニューラルネットワークと他のタスクの深層学習アルゴリズムとを結合して、1つの新しいニューラルネットワークを形成するステップ(S4)であって、当該グラフニューラルネットワークによって抽出された特徴を他のタスクの深層学習アルゴリズムの入力とし、結合された新しいニューラルネットワークを訓練する、ステップ(S4)と、
結合された新しいニューラルネットワークを訓練することにより、当該グラフニューラルネットワークを最適化し、ステップ(S3)に戻るステップ(S5)と、
をさらに含む。
当該グラフニューラルネットワークと他のタスクの深層学習アルゴリズムとを結合して、1つの新しいニューラルネットワークを形成するステップ(S4)であって、当該グラフニューラルネットワークによって抽出された特徴を他のタスクの深層学習アルゴリズムの入力とし、結合された新しいニューラルネットワークを訓練する、ステップ(S4)と、
結合された新しいニューラルネットワークを訓練することにより、当該グラフニューラルネットワークを最適化し、ステップ(S3)に戻るステップ(S5)と、
をさらに含む。
任意選択的に、当該深層学習アルゴリズムは、異なるタスクの深層学習アルゴリズムに使用されるものとしてもよく、当該タスクは、特に予測及び計画であり、行動計画、軌道計画、VRU予測、知的エージェント(Agent)予測、及び、DRL(Deep reinforcement learning、深層強化学習)に基づく計画を含む。ここで、当該深層学習アルゴリズムは、例えば、畳み込みニューラルネットワークアルゴリズム又はリカレントニューラルネットワークアルゴリズムであるものとしてもよく、また、グラフニューラルネットワークアルゴリズムであるものとしてもよい。
ここで、特に以下の利点が実現される。結合された新しいニューラルネットワークを訓練することにより、グラフニューラルネットワークを新しいニューラルネットワークの一部分として組み立て、異なるタスクの深層学習アルゴリズムを利用して、訓練の過程で新しいニューラルネットワークを最適化すると同時にグラフニューラルネットワークも最適化することができ、これにより、異なる的深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化するという目的を達成する。さらに、異なるタスクに基づく学習を繰り返すことにより、グラフニューラルネットワークは、仕様及び/又は品質の異なるデータに対する適応性を高めるだけでなく、抽出された特徴を高度に抽象化された堅牢性が高く互換性のあるものにする。
任意選択的に、当該方法は、結合された新しいニューラルネットワークの出力を使用して、当該交通シーンデータのラベルを調整するステップ(S51)をさらに含む。
本発明の意味において、「ラベル」は、機械学習(教師あり学習及び教師なし学習を含む)におけるデータのラベルと理解することができ、教師あり学習におけるラベル、及び、教師なし学習におけるシミュレーションシステムの出力のラベルを含む。機械学習の過程で、当該ラベルにより、機械学習モデルが識別に関する特徴を訓練し、学ぶように導くことができる。
ここで、特に以下の利点が実現される。深層学習アルゴリズムを利用して、当該交通シーンデータに対してラベルを調整して、手動ラベリングを支援し、手動ラベリングの品質をチェックすることにより、データ品質を改善し、深層学習アルゴリズムの性能を効果的に向上させる。
本発明の第2の態様によれば、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出するための装置が提供され、当該装置は、本発明の第1の態様に記載の方法を実施するように構成されている。当該装置は、
異なるデータソースから交通シーンデータを取得し、取得された交通シーンデータに対して、一律に定義されたデータ表現を作成するように構成されたデータ取得及び前処理モジュールと、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し得るように構成されたグラフ構築モジュールと、
構築されたグラフを入力として学習を行い、当該交通シーンデータの特徴を抽出し、抽出された特徴を入力として他のタスクの深層学習アルゴリズムを訓練し得るように構成されたグラフニューラルネットワークモジュールと、
を備える。
異なるデータソースから交通シーンデータを取得し、取得された交通シーンデータに対して、一律に定義されたデータ表現を作成するように構成されたデータ取得及び前処理モジュールと、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し得るように構成されたグラフ構築モジュールと、
構築されたグラフを入力として学習を行い、当該交通シーンデータの特徴を抽出し、抽出された特徴を入力として他のタスクの深層学習アルゴリズムを訓練し得るように構成されたグラフニューラルネットワークモジュールと、
を備える。
任意選択的に、当該グラフニューラルネットワークモジュールは、特徴抽出モジュールと、深層学習モジュールと、を備え、当該特徴抽出モジュールは、当該交通シーンデータについて、グラフニューラルネットワークの学習により特徴を抽出するように構成されており、当該深層学習モジュールは、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化する。
本発明の第3の態様によれば、コンピュータプログラム製品が提供され、当該コンピュータプログラム製品は、コンピュータプログラムを含み、当該コンピュータプログラムは、コンピュータによって実行されたときに、本発明の第1の態様に記載の方法を実施するためのものである。
発明を実施するための形態
本発明によって解決される技術的問題、技術的解決手段及び有益な技術的効果をより明確に理解するために、以下に、添付の図面及びいくつかの例示的な実施例を組み合わせて、本発明をさらに詳細に説明する。本明細書に記載された具体的な実施例は、本発明を説明することのみに使用され、本発明の保護範囲を限定するためのものではないことを理解されたい。
本発明によって解決される技術的問題、技術的解決手段及び有益な技術的効果をより明確に理解するために、以下に、添付の図面及びいくつかの例示的な実施例を組み合わせて、本発明をさらに詳細に説明する。本明細書に記載された具体的な実施例は、本発明を説明することのみに使用され、本発明の保護範囲を限定するためのものではないことを理解されたい。
図1は、本発明の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図を示す。以下の例示的な実施例においては、本発明に係る方法について、より詳細に説明する。
ステップS1において、交通シーンデータに対して、一律に定義されたデータ表現を作成する。ここで、当該交通シーンデータは、異なるデータソースから取得されるものとしてもよい。例示的に、異なるデータソースからのこれらの交通シーンデータは、既存のデータセットであるものとしてもよく、又は、異なるサプライヤのセンサ(例えば、画像センサ、LiDARセンサ、及び/又は、位置センサなど)からの画像又は点群から得られるものとしてもよく、及び/又は、異なるサプライヤから提供された高精度地図から得られるものとしてもよく、又は、異なる機能モジュール(例えば、検知、予測、計画などのモジュール)の出力(例えば、診断結果、インスタンス分割など)から得られるものとしてもよく、又は、シミュレーション若しくはゲームのデータなどから得られるものとしてもよい。
本発明の現在の実施例において、当該データ表現は、幾何学情報及び注釈情報を含むものとしてもよく、当該幾何学情報及び注釈情報は、一緒に記憶されるものとしてもよい。例示的に、車線境界の幾何学情報は、一連の点又はベクトルのセットとして表現され、また、車線境界の位置は、注釈情報として当該幾何学情報と一緒に記憶されるものとしてもよい。交通参加者(例えば、自動車、トラック、自転車、歩行者など)の幾何学情報は、ボックス又は多角形で表現され、また、交通参加者の位置及び方向は、注釈情報として当該幾何学情報と一緒に記憶されるものとしてもよい。交通信号又は交通標識の幾何学情報は、ボックス又は多角形で表現し、交通信号又は交通標識の状態、意味などを注釈情報として当該幾何学情報と一緒に記憶するものとしてもよい。
ステップS2において、一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し、当該グラフは、当該交通シーンのエンティティ間の時間及び/又は空間関係を描画する。本発明の現在の実施例においては、構築されたグラフにおいて、当該グラフのノードは、当該交通シーン内のエンティティを表現し、当該グラフの辺は、当該ノード間の時間及び/又は空間関係を表現し、当該関係は、ノード間の時間関係、ノード間の空間関係、並びに、ノード間の時間及び空間関係を含む。当該交通シーン内のエンティティは、例えば、車線境界、交通信号若しくは交通標識、交通参加者、障害物、及び/又は、インスタンスを含む。例示的に、2台の車両間の距離、位置、速度差などの情報は、ノード間の空間関係を描画することができる。実線及び破線の車線境界は、車両の潜在的な走行行動の空間関係を描画する。交通信号又は交通標識の情報は、時間及び/又は空間的に車両の法的な運転行動、例えば、車両がどの時間帯にどの車線を走行することが許可されているかを定義する。さらに、さまざまな時間ステップに沿って、ノード間の時間関係、例えば、分岐点を通過するときの車両の時間変化過程の位置変化情報を作成するものとしてもよい。
ステップS3において、構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行って、当該交通シーンデータの特徴が抽出されるようにする。本発明の現在の実施例において、抽出された特徴は、高度に抽象化された特徴であり、交通シーンの環境モデルを構築するために使用される。
図2は、本発明の他の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図を示す。以下、図1に示した実施例と異なる点のみを説明し、同一のステップについては、簡潔にするために説明を繰り返さない。当該実施例において、当該方法は、ステップS4及びS5をさらに含む。
ステップS4において、当該グラフニューラルネットワークと他のタスクに使用される深層学習ネットワークとを結合して、新しいニューラルネットワークにする。ここでは、ステップS2において構築されたグラフから他のタスクまで、エンドツーエンド(end-to-end)の訓練プロセスを設計しており、深層学習モジュールは、さまざまな異なるタスクに対して深層学習アルゴリズムを実行するために使用されるものとしてもよく、また、複数の層を備える。一方、各タスクは、異なる深層学習方法、例えば、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、及び/又は、グラフニューラルネットワークアルゴリズムなどに対応するものとしてもよい。他方、深層学習アルゴリズムは、異なるタスクに使用されるものとしてもよく、当該タスクは、特に予測及び計画であり、行動計画、軌道計画、VRU予測、知的インテリジェント予測、及び、DRLに基づく計画を含むが、これらに限定されない。このように、異なるタスクに対応した深層学習アルゴリズムにより、異なる交通シーンのデータに深層学習を行うものとしてもよい。
ステップS5において、結合されたニューラルネットワークを訓練することにより、当該グラフニューラルネットワークを最適化し、ステップS3に戻り、これにより、最適化されたグラフニューラルネットワークを利用して特徴を抽出するものとしてもよい。ここで、結合された新しいニューラルネットワークの出力が、結合に関与する当該深層学習アルゴリズムが適用されるタスクとなる。例えば、結合に関与する深層学習アルゴリズムが歩行者の軌跡を予測するためのものである場合、結合された新しいニューラルネットワークの出力は歩行者の軌道となる。出力された歩行者軌道が性能向上を有する場合、当該グラフニューラルネットワークを最適化し、ステップS3に戻り、最適化されたグラフニューラルネットワークを利用して特徴を抽出するものとしてもよい。
本実施例においては、異なるタスク及び対応する深層学習アルゴリズムを選択し、継続的に学習を繰り返すことにより、目標グラフニューラルネットワークを最適化するものとしてもよく、これによって、複数のアルゴリズムの複合学習の結果において、より多くの情報が得られ、より高度に抽象化された堅牢が高く互換性のある特徴を抽出することができる。
図3は、本発明の他の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図を示す。以下においては、図2に示した実施例と異なる点のみを説明し、同一のステップについては簡潔にするために説明を繰り返さない。本実施例において、当該方法は、ステップS51をさらに含む。
ステップS51において、結合された新しいニューラルネットワークの出力を使用して、当該交通シーンデータのラベルを調整する。具体的には、特定のタスクに対応する深層学習アルゴリズムの出力がステップS4及び、S5において性能向上を有する場合、そのアルゴリズムの出力から情報を抽出してラベルを形成するものとしてもよい。当該ラベルは、データラベリング作業を支援するために使用することができ、これにより、例えば、ラベルの自動事前ラベリング及びラベルの誤り訂正などを実現する。
従来の深層学習方法においては、通常、手動によるラベリング方法又はその他の補助アルゴリズムによりラベルのラベリングを行う必要があったが、本発明の本実施例においては、深層学習結果から抽出された情報により、より効果的にラベルのラベリングを最適化することができ、これにより、データの品質、ひいては深層学習アルゴリズムの性能を向上させることができることに留意されたい。
本明細書に記載されたステップの番号は、必ずしも連続した順序を表すものではなく、単なる図面記号であり、本発明の技術的目的が達成される限り、実際の状況に応じて順序を変更することができることに留意されたい。
図4は、本発明の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置の概略図を示す。
図4に示すように、装置1は、データ取得及び前処理モジュール20と、グラフ構築モジュール30と、グラフニューラルネットワークモジュール40と、を備える。ここで、データ取得及び前処理モジュール20は、異なるデータソースからの交通シーンデータを取得し、取得された交通シーンデータに対して、一律に定義されたデータ表現を作成し得るように構成されている。グラフ構築モジュール30は、一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し得るように構成されている。グラフニューラルネットワークモジュール40は、構築されたグラフを記憶し、当該交通シーンデータの特徴を抽出し、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのアルゴリズム(即ち、グラフニューラルネットワークアルゴリズム)を最適化し得るように構成されている。
具体的には、当該グラフニューラルネットワークモジュールが、特徴抽出モジュール401と、深層学習モジュール402と、を備え、当該特徴抽出モジュール401は、当該交通シーンデータについてグラフニューラルネットワークの学習によって特徴を抽出するように構成されており、当該深層学習モジュール402は、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化する。
本明細書においては、本発明の特定の実施形態が詳細に説明されているが、それらは、単に説明のためにのみ与えられており、本発明の範囲を限定するものとみなすべきではない。本発明の趣旨及び範囲から逸脱することなく、さまざまな置換、変更及び改造を考えることができる。
Claims (12)
- グラフニューラルネットワークに基づいて、交通シーンデータの特徴を抽出する方法であって、
交通シーンデータに対して、一律に定義されたデータ表現を作成するステップ(S1)と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築するステップ(S2)であって、前記グラフは、前記交通シーン内のエンティティ間の時間及び/又は空間関係を描画する、ステップ(S2)と、
構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、前記交通シーンデータから特徴を抽出するステップ(S3)と、
を含む方法。 - 前記グラフニューラルネットワークと他のタスクの深層学習アルゴリズムとを結合して、1つの新しいニューラルネットワークを形成するステップ(S4)であって、前記グラフニューラルネットワークによって抽出された特徴を他のタスクの深層学習アルゴリズムの入力として、結合された新しいニューラルネットワークを訓練する、ステップ(S4)と、
結合された新しいニューラルネットワークを訓練することにより、前記グラフニューラルネットワークを最適化し、ステップ(S3)に戻るステップ(S5)と、
をさらに含む、請求項1に記載の方法。 - 結合された新しいニューラルネットワークの出力を使用して、前記交通シーンデータのラベルを調整するステップ(S51)をさらに含む、請求項2に記載の方法。
- 前記データ表現は、幾何学情報及び注釈情報を含み、前記幾何学情報及び注釈情報は、一緒に記憶され得る、請求項1乃至3のいずれか一項に記載の方法。
- 前記グラフのノードが、前記交通シーン内のエンティティを表現し、前記グラフの辺が、前記ノード間の時間及び/又は空間関係を表現する、請求項1乃至4のいずれか一項に記載の方法。
- 前記交通シーン内のエンティティは、車線境界、交通信号若しくは交通標識、交通参加者、障害物、及び/又は、インスタンスを含む、請求項1乃至5のいずれか一項に記載の方法。
- 前記深層学習アルゴリズムは、異なるタスクの深層学習アルゴリズムのためのものであり、前記タスクは、特に予測及び計画であり、行動計画、軌道計画、VRU予測、知的エージェント予測、及び、DRLに基づく計画を含む、請求項2乃至6のいずれか一項に記載の方法。
- 前記深層学習アルゴリズムは、例えば、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、及び/又は、グラフニューラルネットワークアルゴリズムなどである、請求項2乃至7のいずれか一項に記載の方法。
- ステップ(S3)において、抽出される特徴は、高度に抽象化された特徴であり、交通シーンの環境モデルを構築するために使用される、請求項1乃至8のいずれか一項に記載の方法。
- グラフニューラルネットワークに基づいて、交通シーンデータの特徴を抽出する装置(1)であって、請求項1乃至9のいずれか一項に記載の方法を実施するために構成されている装置(1)において、
異なるデータソースから交通シーンデータを取得し、取得された交通シーンデータに対して、一律に定義されたデータ表現を作成し得るように構成されたデータ取得及び前処理モジュール(20)と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し得るように構成されたグラフ構築モジュール(30)と、
構築されたグラフを記憶し、前記交通シーンデータの特徴を抽出し、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化し得るように構成されたグラフニューラルネットワークモジュール(40)と、
を備える装置(1)。 - 前記グラフニューラルネットワークモジュール(40)は、特徴抽出モジュール(401)と、深層学習モジュール(402)と、を備え、前記特徴抽出モジュール(401)は、前記交通シーンデータについてグラフニューラルネットワークの学習によって特徴を抽出するように構成されており、前記深層学習モジュール(402)は、他のタスクの深層学習アルゴリズムを使用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化する、請求項10に記載の装置(1)。
- コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムは、コンピュータによって実行されたときに、請求項1乃至9のいずれか1項に記載の方法を実施するためのものである、コンピュータプログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111683649.4A CN116415619A (zh) | 2021-12-29 | 2021-12-29 | 基于图神经网络对交通场景数据提取特征的方法 |
CN202111683649.4 | 2021-12-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023098864A true JP2023098864A (ja) | 2023-07-11 |
Family
ID=86693621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022211313A Pending JP2023098864A (ja) | 2021-12-29 | 2022-12-28 | グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230281424A1 (ja) |
JP (1) | JP2023098864A (ja) |
CN (1) | CN116415619A (ja) |
DE (1) | DE102022212788A1 (ja) |
-
2021
- 2021-12-29 CN CN202111683649.4A patent/CN116415619A/zh active Pending
-
2022
- 2022-11-29 DE DE102022212788.9A patent/DE102022212788A1/de active Pending
- 2022-12-26 US US18/146,427 patent/US20230281424A1/en active Pending
- 2022-12-28 JP JP2022211313A patent/JP2023098864A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116415619A (zh) | 2023-07-11 |
DE102022212788A1 (de) | 2023-06-29 |
US20230281424A1 (en) | 2023-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240096014A1 (en) | Method and system for creating and simulating a realistic 3d virtual world | |
Prakash et al. | Structured domain randomization: Bridging the reality gap by context-aware synthetic data | |
US10796201B2 (en) | Fusing predictions for end-to-end panoptic segmentation | |
Queiroz et al. | GeoScenario: An open DSL for autonomous driving scenario representation | |
Máttyus et al. | Hd maps: Fine-grained road segmentation by parsing ground and aerial images | |
Fernando et al. | Deep inverse reinforcement learning for behavior prediction in autonomous driving: Accurate forecasts of vehicle motion | |
WO2023207437A1 (zh) | 一种基于动态轨迹流的场景流数字孪生方法及系统 | |
Niranjan et al. | Deep learning based object detection model for autonomous driving research using carla simulator | |
EP3410404B1 (en) | Method and system for creating and simulating a realistic 3d virtual world | |
Murali et al. | Utilizing semantic visual landmarks for precise vehicle navigation | |
CN112307978B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
CN111582189A (zh) | 交通信号灯识别方法、装置、车载控制终端及机动车 | |
Zipfl et al. | From traffic sensor data to semantic traffic descriptions: The test area autonomous driving baden-württemberg dataset (taf-bw dataset) | |
CN116595871A (zh) | 基于动态时空交互图的车辆轨迹预测建模方法与装置 | |
Darapaneni et al. | Autonomous car driving using deep learning | |
US20230154198A1 (en) | Computer-implemented method for multimodal egocentric future prediction | |
de la Peña et al. | AD PerDevKit: An autonomous driving perception development kit using CARLA simulator and ROS | |
CN103473789A (zh) | 一种融合多线索的人体视频分割方法 | |
Bhaggiaraj et al. | Deep Learning Based Self Driving Cars Using Computer Vision | |
JP2023098864A (ja) | グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法 | |
WO2022089627A1 (en) | Method and system for motion planning for an autonmous vehicle | |
Moujtahid et al. | Spatial-unet: Deep learning-based lane detection using fisheye cameras for autonomous driving | |
Del Egido et al. | 360 real-time 3d multi-object detection and tracking for autonomous vehicle navigation | |
Pehlivan et al. | Real-Time Implementation of Mini Autonomous Car Based on MobileNet-Single Shot Detector | |
Shapovalov et al. | Robust localization of a self-driving vehicle in a lane |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |