JP2023502834A - サンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置 - Google Patents

サンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置 Download PDF

Info

Publication number
JP2023502834A
JP2023502834A JP2022514192A JP2022514192A JP2023502834A JP 2023502834 A JP2023502834 A JP 2023502834A JP 2022514192 A JP2022514192 A JP 2022514192A JP 2022514192 A JP2022514192 A JP 2022514192A JP 2023502834 A JP2023502834 A JP 2023502834A
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
target
target detection
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022514192A
Other languages
English (en)
Inventor
▲楊▼▲霽▼▲はん▼
史少▲帥▼
王哲
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Publication of JP2023502834A publication Critical patent/JP2023502834A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本開示はサンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置を提供し、前記方法は、複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得、前記各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定し、そして、前記第１目標点群データ、及び前記第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成する。このような方法は生成されたサンプルデータの信頼性を向上させることで、訓練後に得られた目標検出モデルの検出精度が高まる。

Description

（関連出願の相互参照）
本特許出願は、２０２０年１０月３０日に提出された、出願番号が２０２０１１１９４００１．６であり、発明の名称が「サンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置」である中国特許出願の優先権を主張し、該出願の全てが参照により本願に組み込まれる。
本開示は、機械学習の技術分野に関し、具体的には、サンプル生成、ニューラルネットワーク訓練、データ処理、知的走行装置の走行制御の方法、装置、コンピュータ機器及び記憶媒体に関する。
現在、目標検出用ニューラルネットワークは、例えば自動運転、ロボット搬送等の分野で広く応用されている。自動運転を例とすれば、レーザーレーダーで目標場面のデータを収集した後、得られた点群データをラベリングし、ラベリングされた点群データを用いて目標検出用ニューラルネットワークを訓練することができ、該目標検出用ニューラルネットワークは、自動運転中の障害物検出に使用することができる。
現在、目標検出用ニューラルネットワークは、訓練時に検出精度が低いという問題が存在する。
本開示の実施例は、少なくともサンプル生成、ニューラルネットワーク訓練、データ処理、知的走行装置の走行制御の方法、装置、コンピュータ機器及び記憶媒体を提供する。
第１態様では、本開示の実施例はサンプル生成方法を提供する。前記サンプル生成方法は、
複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得るステップと、
前記各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定するステップと、
前記第１目標点群データ、及び前記第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成するステップと、を含む。
このように、生成されたサンプルデータの信頼性を向上させることができ、それにより、訓練後に得られた目標検出モデルの検出精度が高まる。
選択的な一実施形態では、前記第１目標検出結果は、前記各フレームの第１点群データにおける目標の信頼度を含み、前記第１信頼度閾値は前記第２信頼度閾値より大きく、
前記各フレームの第１点群データにそれぞれ対応する第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定するステップは、
各フレームの第１点群データにおける目標の信頼度を前記第１信頼度閾値及び前記第２信頼度閾値とそれぞれ比較するステップと、
信頼度が前記第１信頼度閾値より大きい、又は前記第２信頼度閾値より小さい目標を含む第１点群データを前記第１目標点群データとして決定するステップと、を含む。
このように、第１点群データに目標対象が確実に存在する可能性の程度を表すための第１確率閾値、及び第２確率閾値を利用することで、第１点群データを選出し、目標検出結果が信頼できるか否かを正確に決定できない一部のデータを無視することができ、このため、第１目標点群データの分類精度を高めることができる。
選択的な一実施形態では、予め訓練された目標検出用ニューラルネットワークを利用して前記複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、
前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果に基づき、サンプルデータを生成するステップは、
前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して、前記予め訓練された目標検出用ニューラルネットワークを反復訓練するステップと、前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して、前記予め訓練された目標検出用ニューラルネットワークをｋ回反復訓練した後、訓練後の目標検出用ニューラルネットワークを得るステップであって、ｋは正の整数であるステップと、
前記訓練後の目標検出用ニューラルネットワークを利用して、前記複数のフレームの第１点群データのうちの各フレームの第１点群データの第２目標検出結果を決定するステップと、
繰り返し停止条件を満たす場合、各フレームの第１点群データの第２目標検出結果に基づき、前記サンプルデータを生成するステップと、を含む。
このように、予め訓練された目標検出用ニューラルネットワークを第１目標点群データで訓練するプロセスにおいて、得られた訓練後の目標検出用ニューラルネットワークは第１目標点群データの特徴を学習したため、予め訓練された目標検出用ニューラルネットワークに比べ、訓練後の目標検出用ニューラルネットワークを利用して第１点群データに対して目標検出処理を再度行う方は、精度がさらに高い。
選択的な一実施形態では、繰り返し停止条件を満たさない場合、前記各フレームの第１点群データの第２目標検出結果、前記第１信頼度閾値、及び前記第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第２目標点群データを決定するステップと、
第２目標点群データを新たな第１目標点群データとし、第２目標点群データの第２目標検出結果を新たな第１目標点群データの新たな第１目標検出結果とし、且つ前記訓練後の目標検出用ニューラルネットワークを予め訓練された目標検出用ニューラルネットワークとして、前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して前記予め訓練された目標検出用ニューラルネットワークを訓練するステップに戻るステップと、をさらに含む。
このように、第１点群データの目標検出結果は継続的に更新され、且つ更新中に、精度が継続的に高まり、それにより、最終的に得られたサンプルデータのラベリング精度が高くなる。
選択的な一実施形態では、前記繰り返し停止条件は、
前記訓練後の目標検出用ニューラルネットワークを得る回数が予め設定された回数に達することであって、前記予め設定された回数はｋの整数倍であることと、
各フレームの第１点群データの第１目標検出結果と第２目標検出結果との類似度が予め設定された類似度閾値より大きいこととのうちの少なくとも１つを含む。
選択的な一実施形態では、
前記第１目標点群データに対してデータ強化処理を行い、第３目標点群データを生成し、及び前記第１目標点群データに対応する第１目標検出結果に基づき、前記第３目標点群データの第３目標検出結果を生成するステップをさらに含み、
前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果に基づき、サンプルデータを生成するステップは、
前記第１目標点群データ、前記第１目標点群データの第１目標検出結果、前記第３目標点群データ、前記第３目標点群データの第３目標検出結果に基づき、前記サンプルデータを生成するステップを含む。
このように、第１目標点群データのデータ量が小さい場合に目標検出用ニューラルネットワークの訓練が受ける影響を回避することができ、又は、訓練して得られた目標検出用ニューラルネットワークの一般化能力をさらに高くすることができる。
選択的な一実施形態では、前記データ強化処理は、
ランダムズーム場面処理、ランダム回転場面処理、座標軸に沿ったランダム反転場面処理、ランダム物体ズーム処理、ランダム物体回転処理、座標軸に沿ったランダム点群サンプリング処理のうちの少なくとも１つを含む。
第２態様では、本開示の実施例はニューラルネットワークの訓練方法を提供する。前記ニューラルネットワークの訓練方法は、
本発明の実施例の第１態様又は第１態様のいずれかの選択的な実施形態に係るサンプル生成方法を利用してサンプルデータを生成するステップと、
前記サンプルデータを利用して、訓練待ちの目標検出用ニューラルネットワークを訓練し、訓練後の目標検出用ニューラルネットワークを得るステップと、を含む。
第３態様では、本開示の実施例はデータ処理方法を提供する。前記データ処理方法は、
処理待ちの点群データを取得するステップと、
第２態様のいずれか１項に記載のニューラルネットワークの訓練方法で訓練されたニューラルネットワークを利用して、前記処理待ちの点群データを処理し、前記処理待ちの点群データのデータ処理結果を得るステップと、を含む。
第４態様では、本開示の実施例は知的走行装置の走行制御方法を提供する。前記知的走行装置の走行制御方法は、
走行中において知的走行装置によって収集された点群データを取得するステップと、
第２態様のいずれか１項に記載のニューラルネットワークの訓練方法で生成されたニューラルネットワークを利用して、前記点群データにおける目標対象を検出するステップと、
検出された目標対象に基づき、前記知的走行装置を制御するステップと、を含む。
第５態様では、本開示の実施例はサンプル生成装置をさらに提供する。前記サンプル生成装置は、
複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得るように構成される第１検出モジュールと、
前記各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定するように構成される決定モジュールと、
前記第１目標点群データ、及び前記第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成するように構成される第１生成モジュールと、を含む。
第６態様では、本開示の実施例はニューラルネットワークの訓練装置をさらに提供する。前記ニューラルネットワークの訓練装置は、
本開示の実施例の第１態様又は第１態様のいずれかの選択的な実施形態に係る前記サンプル生成方法を利用してサンプルデータを生成するように構成される第２生成モジュールと、
前記サンプルデータを利用して、訓練待ちの目標検出用ニューラルネットワークを訓練し、訓練後の目標検出用ニューラルネットワークを得るように構成されるモデル訓練モジュールと、を含む。
第７態様では、本開示の実施例はデータ処理装置をさらに提供する。前記データ処理装置は、
処理待ちの点群データを取得するように構成される第１取得モジュールと、
第２態様のいずれか１項に記載のニューラルネットワークの訓練方法に基づいて訓練されたニューラルネットワークを利用して、前記処理待ちの点群データを処理し、前記処理待ちの点群データのデータ処理結果を得るように構成される処理モジュールと、を含む。
第８態様では、本開示の実施例は知的走行装置の走行制御装置をさらに提供する。前記知的走行装置の走行制御装置は、
走行中において知的走行装置によって収集された点群データを取得するように構成される第２取得モジュールと、
第２態様のいずれか１項に記載のニューラルネットワークの訓練方法に基づいて訓練されたニューラルネットワークを利用して、前記点群データにおける目標対象を検出するように構成される第２検出モジュールと、
検出された目標対象に基づき、前記知的走行装置を制御するように構成される制御モジュールと、を含む。
第９態様では、本開示の選択的な実施形態はコンピュータ機器をさらに提供する。前記コンピュータ機器はプロセッサ及びメモリを含み、前記メモリには、前記プロセッサにより実行可能な機械可読命令が記憶されており、前記プロセッサは、前記メモリに記憶されている機械可読命令を実行するために用いられ、前記機械可読命令が前記プロセッサにより実行されると、前記プロセッサは上記第１態様、第２態様、第３態様又は第４態様におけるいずれかの可能な実施形態のステップを実行する。
第１０態様では、本開示の選択的な実施形態はコンピュータ可読記憶媒体をさらに提供し、該コンピュータ可読記憶媒体には、実行されると、上記第１態様、第２態様、第３態様又は第４態様におけるいずれかの可能な実施形態のステップを実行するコンピュータプログラムが記憶されている。
上記サンプル生成装置、コンピュータ機器、及びコンピュータ可読記憶媒体の効果については、上記サンプル生成方法の説明を参照すればよく、上記ニューラルネットワークの訓練装置、コンピュータ機器、及びコンピュータ可読記憶媒体の効果については、上記ニューラルネットワークの訓練方法の説明を参照すればよく、上記データ処理装置、コンピュータ機器、及びコンピュータ可読記憶媒体の効果については、上記データ処理方法の説明を参照すればよく、上記知的走行装置の走行制御装置、コンピュータ機器、及びコンピュータ可読記憶媒体の効果については、上記知的走行装置の走行制御方法の説明を参照すればよく、ここでは説明を省略する。
本開示の上記目的、特徴及び利点をより分かりやすくするために、以下において、特に、好ましい実施例を挙げて、図面を参照しながら詳細に説明を行う。
本開示の実施例により提供されるサンプル生成方法のフローチャートを示す。 本開示の実施例により提供される、決定された第１目標点群データ、及び第１目標点群データに対応する第１目標検出結果に基づいてサンプルデータを生成する具体的な方法のフローチャートを示す。 本開示の実施例により提供されるニューラルネットワークの訓練方法のフローチャートを示す。 本開示の実施例により提供されるデータ処理方法のフローチャートを示す。 本開示の実施例により提供される知的走行装置の走行制御方法のフローチャートを示す。 本開示の実施例により提供されるサンプル生成装置の模式図を示す。 本開示の実施例により提供されるニューラルネットワークの訓練装置の模式図を示す。 本開示の実施例により提供されるデータ処理装置の模式図を示す。 本開示の実施例により提供される知的走行装置の走行制御装置の模式図を示す。 本開示の実施例により提供されるコンピュータ機器の構成図を示す。
本開示の実施例の技術的解決手段をより明瞭に説明するために、以下において、実施例に用いられる図面を簡単に説明するが、ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的解決手段を説明するために用いられる。以下の図面は本開示のいくつかの実施例のみを示すため、範囲を限定するものと見なすべきではないと理解すべきであり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて関連する他の図面に想到し得る。
本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下に本開示の実施例における図面を参照し、本開示の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は本開示の実施例の一部に過ぎず、全ての実施例ではない。通常、ここで記述され示される本開示の実施例のコンポーネントは様々な異なる構成で配置及び設計することができる。従って、本開示の実施例についての以下の詳細な説明は、本開示で特許請求している範囲を限定するものではなく、単に本開示の選定された実施例を示すものに過ぎない。本開示の実施例に基づき、当業者が創造的労力を要することなく得られた他の全ての実施例は、いずれも本開示の保護範囲に属する。
研究によると、自動運転分野の継続的な発展に伴い、レーザーレーダーのタイプが増えているが、レーザーレーダーの使用とデータの収集には統一的な基準が確立されていない。既存のレーダーデータ集合は、異なるタイプのレーダーで取得されるものが多く、それに加え、各レーダーデータ集合は、収集された都市の地理や天候状況、走行車両の高さ等にいずれも差異がある。これらの状況により、１つのレーダーデータ集合で訓練された目標検出モデルを別のデータ集合に使用すると、性能が大幅に低下する恐れがある。このため、新規レーザーレーダーの個々について、新規レーザーレーダーに適応できる目標検出モデルを得るために、新規レーザーレーダーに対して検出データを収集し、収集されたレーダー検出データをラベリングし、続いて、ラベリングされたレーダー検出データを用いて目標検出モデルを訓練する必要があり、これにより、データをラベリングするコストが高くなりすぎる。データをラベリングするコストを削減するために、現在、ラベリング済みのデータを利用してラベリングされていないデータをラベリングするのが一般的であるが、ラベリング済みのデータとラベリングされていないデータとの間に一定の特徴上の差異が存在することにより、このようなデータラベリング方法で生成されたラベルと実際の結果との間に大きな差異が生じ、このようなサンプルを利用して訓練して得られた目標検出用ニューラルネットワークは精度が低い。
上述した解決手段に存在する欠点は、いずれも発明者が実践して細心の研究を経て辿り着いた結果であり、従って、上記問題の発見過程及び以下に本開示が上記問題に対して提案する解決手段は、いずれも発明者が本開示において寄与したものとする。
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある１項が１つの図面において定義されれば、以降の図面においてそれをさらに定義して解釈する必要がないことに注意されたい。
本実施例を容易に理解するために、まず本開示の実施例により開示されるサンプル生成方法を詳しく説明する。本開示の実施例により提供されるサンプル生成方法の実行本体は一般的に一定の計算能力を有する機器であり、該機器は、例えば、端末機器又はサーバ又は他の処理機器を含み、端末機器はユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥと略称）、携帯機器、ユーザ端末、端末、セルラー電話、コードレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡと略称）、携帯型デバイス、計算装置、車載装置、ウェアラブル装置等であってもよい。いくつかの可能な実施形態では、該サンプル生成方法はプロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。
以下において、本開示の実施例により提供されるサンプル生成方法を説明する。
図１は、本開示の実施例により提供されるサンプル生成方法のフローチャートであり、前記サンプル生成方法は、
複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得るステップＳ１０１と、
各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、複数のフレームの第１点群データから、第１目標点群データを決定するステップＳ１０２と、
第１目標点群データ、及び第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成するステップＳ１０３と、を含む。
本開示の実施例は、複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出処理を行った後、予め設定された第１点群データに目標が存在することを表す第１信頼度閾値と第１点群データに目標が存在しないことを表す第２信頼度閾値とを利用して第１目標点群データを決定し、そして、第１目標点群データ及びその対応する第１目標検出結果を利用してサンプルデータを生成する。第１目標点群データを決定する際には、第１目標検出結果のうち目標の信頼度が中間値（例えば、０と１の間の値）に近い第１点群データではなく、第１目標検出結果のうち目標の信頼度がより高い（例えば、１に近い）第１点群データ、又は第１目標検出結果のうち目標の信頼度がより低い（例えば、０に近い）第１点群データを、第１目標点群データとして選択することで、生成されたサンプルデータの信頼性が高まる。
以下において、上記Ｓ１０１～Ｓ１０３を詳しく説明する。
上記Ｓ１０１について、第１点群データは、例えば、レーダー、深度カメラ、カラーカメラ等の収集装置のうちの少なくとも１つを利用して、第１目標空間に対して収集して得られた点群データであってもよい。目標空間に含まれ得る目標は、例えば障害物等である。
例示的には、レーダーを利用して目標空間の点群データを取得する場合、レーダーは検出信号を発して目標空間を検出し、検出結果に基づいて目標空間の第１点群データを得ることができる。
深度カメラを利用して目標空間の点群データを取得する場合、例えば、構造光、両眼視覚、光飛行時間法等のうちの１つ又は複数を利用して目標空間の深度画像を得てから、該深度画像に基づいて目標空間の第１点群データを得ることができる。
カラーカメラを利用して目標空間の点群データを取得する場合、カラーカメラは目標空間の２次元画像を収集し、２次元画像に基づいて３次元空間の再構成を行い、目標空間の第１点群データを得ることができる。
本開示の実施例は、レーダーを利用して目標空間の第１点群データを取得することを例として説明する。
予め訓練された目標ニューラルネットワークを利用して複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出処理を行う場合、予め訓練された目標検出用ニューラルネットワークは、例えば、ベイジアンニューラルネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ：ＢＮと略称）又は人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＡＮＮと略称）を含む。予め訓練された目標検出用ニューラルネットワークは、ラベリング情報を含む第２点群データを利用して訓練して得られたものである。
可能な一実施形態では、第２点群データを先に取得してもよい。取得された第２点群データは通常、ラベリング情報を含み、第２点群データを取得するレーダーは、例えば、第１点群データを取得するレーダーと異なってもよく、具体的には、そのレーダーのパラメータ、レーダーのタイプ、レーダーの取り付け位置や姿勢、レーダーの適用領域等のうちの少なくとも１つと異なってもよく、ここでは詳細な説明を省略する。ラベリング情報は、例えば、「障害物」及び「非障害物」、並びに、障害物がある場合、第２点群データでの障害物の位置情報（例えば、障害物に対応するラベリング枠の第２点群データでの座標）、障害物のサイズ、障害物のカテゴリ、及びこのカテゴリの信頼度スコアを含んでもよい。
予め訓練された目標検出用ニューラルネットワークを利用して得られた第１点群データの第１目標検出結果には、第１点群データでの目標の座標、目標のサイズ、目標が該当する障害物のカテゴリ、及びこのカテゴリの信頼度スコアも含まれ、ここで、信頼度スコアは、例えば、予測確率の形で表現してもよい。
ラベリング情報を含む第２点群データが決定された場合、ラベリング情報を含む第２点群データを利用して訓練し、予め訓練された目標検出用ニューラルネットワークを得ることができる。
第２点群データを利用して予め訓練された目標検出用ニューラルネットワークは、第２点群データに対して良好な処理性能を備え、予め訓練された目標検出用ニューラルネットワークを利用して複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出処理を行い、各フレームの第１点群データに対応する第１目標検出結果を得る。
上記Ｓ１０２について、予め訓練された目標検出用ニューラルネットワークは、ラベリング情報を含む第２点群データを利用して訓練して得られたものであるため、第２点群データと特徴分布が類似する点群データに対して良好な処理性能を備え、しかし、第１点群データと第２点群データが特徴領域に一定の差異があるため、第２点群データに基づいて予め訓練された目標検出用ネットワークが第１点群データを処理し、第１点群データに対応する第１目標検出結果を得た場合、該第１目標予測結果は第１点群データに対応する実際の目標検出結果との間に一定の差異がある。この差異を小さくし、第１点群データに基づいて生成されたサンプルの信頼度を高めるために、本開示のＳ１０２に基づいて第１点群データを選出し、複数のフレームの第１点群データから、第１目標点群データを決定する必要がある。
第１点群データから第１目標点群データを選出する際には、予め設定された第１点群データに目標が存在することを表すための第１信頼度閾値、及び第１点群データに目標が存在しないことを表すための第２信頼度閾値によって、複数のフレームの第１点群データから、分類結果の信頼度がより高い第１目標点群データを決定してもよい。第１信頼度閾値、及び第２信頼度閾値は第１点群データに目標が確実に存在する／しない可能性の程度を表すために使用される。第１点群データから第１目標点群データを選出する際には、第１目標検出結果のうち目標の信頼度が中間値に近い第１点群データではなく、第１目標検出結果のうち目標の信頼度がより高い（例えば、１に近い）第１点群データ、又は第１目標検出結果のうち目標の信頼度がより低い（例えば、０に近い）第１点群データを、第１目標点群データとして選択することができ、それにより、生成されたサンプルデータの信頼性が高まる。
例示的に、第１信頼度閾値は第２信頼度閾値より大きく、第１信頼度閾値は、例えば、P1と表すことができ、第２信頼度閾値は、例えば、P2と表すことができる。
例示的に、第１信頼度閾値P1を７０％に、第２信頼度閾値P2を３０％にしてもよく、つまり、第１目標検出結果の信頼度が３０％未満である場合、目標が絶対に存在しないと考えられ、第１目標検出結果の信頼度が７０％を超える場合、目標が絶対に存在すると考えられる。
ここで、上記の第１信頼度閾値と第２信頼度閾値はいずれも例として説明されるものであり、第１信頼度閾値と第２信頼度閾値の具体的な値を設定する時、経験に従って設定してもよく、又は目標検出結果への精度要求に応じて決定してもよく、具体的には、実際の状況に応じて決定すればよく、ここでは説明を省略する。
第１信頼度閾値、及び第２信頼度閾値が決定された場合、複数のフレームの第１点群データから第１目標点群データを決定する際には、例えば、
各フレームの第１点群データにおける目標の信頼度を前記第１信頼度閾値及び前記第２信頼度閾値とそれぞれ比較し、そして、信頼度が前記第１信頼度閾値より大きい、又は前記第２信頼度閾値より小さい目標を含む第１点群データを前記第１目標点群データとして決定するようにしてもよい。
例示的に、複数のフレームの第１点群データにＮ（Ｎが１より大きい整数である）フレームの第１点群データが含まれる場合、Ｎフレームの異なる第１点群データにおける目標の信頼度は、例えば、Piと表わすことができ、i∈[1,N]である。
ｉ番目のフレームの第１点群データにおける目標の信頼度Piを例にすると、信頼度Piと第１信頼度閾値P1及び第２信頼度閾値P2とを比較して得られた結果は、
Pi＜P2、P2≦Pi≦P1、及びP1＜Piうちの１つを含む。
Pi＜P2の場合、ｉ番目のフレームの点群データに絶対に目標が含まれないと考えられ、P1＜Piの場合、ｉ番目のフレームの点群データに絶対に目標が含まれると考えられ、このとき、ｉ番目のフレームの点群データを第１目標点群データとして決定する。P2≦Pi≦P1の場合、ｉ番目のフレームの点群データに目標が存在するか否かを正確に判定することができないため、ｉ番目のフレームの点群データを緩衝領域（即ち、信頼度が第１信頼度閾値と第２信頼度閾値の間にある領域）における点群データとして決定する。
第１目標点群データは、目標検出結果が信頼できるか否かを正確に決定できない一部のデータが無視されているため、第１目標点群データに基づいて得られた目標検出結果はさらに正確になる。このとき、複数のフレームの第１点群データから選出して得られた複数のフレームの第１目標点群データについては、いずれも目標を含むか否かを正確に決定することができ、従って、第１目標点群データに基づいて目標検出用ニューラルネットワークを訓練すれば、第１目標点群データについて生成された第１目標検出結果がいずれも高い信頼度であるため、目標検出用ニューラルネットワークに対する検出結果の信頼度の低い点群データの悪影響をなくし、目標検出用ニューラルネットワークの精度をさらに高くすることができる。
上記Ｓ１０３において、図２に示すように、第１目標点群データを決定した場合、決定された第１目標点群データ、及び第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成する際には、例えば、
第１目標点群データ、及び第１目標点群データの第１目標検出結果を利用して、予め訓練された目標検出用ニューラルネットワークを反復訓練するステップＳ１０３１と、
第１目標点群データ、及び第１目標点群データの第１目標検出結果を利用して、予め訓練された目標検出用ニューラルネットワークをｋ回反復訓練した後、訓練後の目標検出用ニューラルネットワークを得るステップＳ１０３２であって、ｋは正の整数であるステップと、
訓練後の目標検出用ニューラルネットワークを利用して、複数のフレームの第１点群データのうちの各フレームの第１点群データの第２目標検出結果を決定するステップＳ１０３３と、
繰り返し停止条件を満たすか否かを判定し、満たした場合、Ｓ１０３７に進み、そうでなければ、Ｓ１０３５に進むステップＳ１０３４と、
各フレームの第１点群データの第２目標検出結果、第１信頼度閾値、及び第２信頼度閾値に基づき、複数のフレームの第１点群データから、第２目標点群データを決定するステップＳ１０３５と、
前記第２目標点群データを新たな第１目標点群データとし、第２目標点群データの第２目標検出結果を新たな第１目標点群データの新たな第１目標検出結果とし、且つ訓練後の目標検出用ニューラルネットワークを予め訓練された目標検出用ニューラルネットワークとし、Ｓ１０３１に戻るステップＳ１０３６と、
各フレームの第１点群データの第２目標検出結果に基づき、サンプルデータを生成するステップＳ１０３７と、によって生成してもよい。
本開示の実施例では、反復更新及び繰り返し更新との２つの更新方式を利用して予め訓練されたニューラルネットワークを訓練している。ステップＳ１０１についての上記記載では、予め訓練された目標検出用ニューラルネットワークはラベリング情報を含む第２点群データによって訓練して得られることができる。第２点群データと第１点群データが異なるレーダーデータ集合に属し得るため、予め訓練された目標検出用ニューラルネットワークを直接使用して第１点群データに対して目標検出を行えば、得られた処理結果は実際の状況と相違することがある。しかし、本開示の実施例では、まず、第１点群データを選出して第１目標点群データを取得し、次に第１目標点群データを利用して予め訓練された目標検出用ニューラルネットワークを訓練することができ、このプロセスにおいて、訓練後の目標検出用ニューラルネットワークは第１目標点群データ内の特徴を学習することができ、このため、予め訓練された目標検出用ニューラルネットワークに比べ、訓練後の目標検出用ニューラルネットワークを利用して第１点群データに対して目標検出処理を再度行う方は、精度がさらに高い。
一例では、上記繰り返し停止条件は、訓練後の目標検出用ニューラルネットワークを得る回数が予め設定された回数に達することを含んでもよい。上記ステップＳ１０３２において、反復訓練を１回行う度に、訓練後の目標検出用ニューラルネットワークを得る回数が１増える。この予め設定された回数は、例えば、５回、７回、及び１０回である。予め設定された回数が小さい場合、反復回数が少なく、許容される誤差範囲内に目標検出用ニューラルネットワークを高速で訓練して得ることができ、予め設定された回数が大きい場合、さらに正確な目標検出用ニューラルネットワークを決定して目標を検出することができる。
一例では、上記繰り返し停止条件は、予め設定された回数がｋの整数倍であることを含んでもよく、予め設定された回数は、例えば、Ｎ×ｋ回であり、Ｎは正の整数である。例示的に、複数のフレームの第１点群データのうちの各フレームの第１点群データに対応する目標検出結果の信頼度がさらに高いことが望まれる場合、Ｎを大きな正の整数、例えば、５又は６にしてもよく、目標検出用ニューラルネットワークをさらに高速に得ること、つまり、予め訓練された目標検出用ニューラルネットワークの訓練時間を削減して効率を向上させることが望まれる場合、Ｎを小さな正の整数、例えば、２又は３にしてもよい。
具体的な予め設定された回数は、実際の状況に応じて決定すればよく、ここでは説明を省略する。
一例では、上記繰り返し停止条件は、各フレームの第１点群データの第１目標検出結果と第２目標検出結果との類似度が予め設定された類似度閾値より大きいことを含んでもよい。
上記の複数回の反復プロセスを経て、最終的には、第１点群データの目標検出結果が継続的に更新され、且つ更新中に、精度が継続的に高まり、それにより、最終的に得られたサンプルデータのラベリング精度が高くなる。
第２目標検出結果を利用して第１目標点群データを継続的に更新する場合には、直前回で得られた第１目標検出結果に比べて第２目標検出結果の精度がさらに高いため、第２目標点群データを利用して第１信頼度閾値、及び第２信頼度閾値との比較を行った後、得られた新たな第１目標点群データのデータ量が増加し得ることにより、次回の目標検出用ニューラルネットワーク訓練のための訓練サンプルがさらに豊富になり、又は、第１信頼度閾値、及び第２信頼度閾値を利用して第１目標点群データを決定する時、目標の信頼度が第１信頼度閾値と第２信頼度閾値の間にある第１目標検出結果の数が減少し、つまり、第１目標検出結果を利用して第１点群データでの対応位置に目標があるか否かを決定する時の信頼度がさらに高くなる。
可能な一実施形態では、例えば、第１目標点群データのデータ量が小さい場合、又は、訓練して得られた目標検出用ニューラルネットワークがさらに高い一般化能力を備えることが望まれる場合、本開示の実施例により提供されるサンプル生成方法において、さらに第１目標点群データに対してデータ強化処理を行い、第３目標点群データを生成し、及び第１点群データに対応する第１目標検出結果に基づき、第３目標点群データの第３目標検出結果を生成してもよい。
データ強化処理は、ランダム回転場面処理、座標軸に沿ったランダム反転場面処理、ランダム物体ズーム処理、ランダム物体回転処理、座標軸に沿ったランダム点群サンプリング処理のうちの少なくとも１つを含む。
ランダム回転場面処理方法をデータ強化処理方法とすることを例にして、サンプルデータを生成する様子を説明する。
ランダム回転場面処理は、例えば、第１目標点群データにおける一部の点群データに対応する座標軸を回転し、回転後に得られた座標軸に基づいてこの一部の点群の点に対応する新たな座標値を決定し、新たな座標値で第１目標点群データを更新して第３目標点群データを決定することを含む。
このとき、第１目標点群データにおける一部の点群データの座標値のみが変更され、第１点群データに目標が存在するか否かの実際の状況に影響が及ばないため、第１目標点群データの第１目標検出結果をそれに応じて調整し、第３目標点群データの第３目標検出結果を生成する。
他のデータ強化方法でサンプルデータを生成する方法は、ランダム回転場面処理方法でサンプルデータを生成する上記方法と同様であり、ここでは説明を省略する。
第１目標点群データ、及び第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成する際には、例えば、
第１目標点群データ、第１目標点群データに対応する第１目標検出結果、第３目標点群データ、第３目標点群データに対応する第３目標検出結果に基づき、サンプルデータを生成するようにしてもよい。
第１目標点群データ、第１目標点群データに対応する第１目標検出結果、第３目標点群データ、第２目標点群データに対応する第３目標検出結果を利用して、サンプルデータを生成する方法は、具体的には、例えば、
前記第１目標点群データ、前記第１目標点群データに対応する第１目標検出結果、第３目標点群データ、及び第３目標点群データに対応する第３目標検出結果を利用して、前記予め訓練された目標検出用ニューラルネットワークを訓練し、訓練後の目標検出用ニューラルネットワークを得るステップと、
前記訓練後の目標検出用ニューラルネットワークを利用して、前記複数のフレームの第１点群データのうちの各フレームの第１点群データの第２目標検出結果を得るステップと、
繰り返し停止条件を満たす場合、前記複数のフレームの第１点群データにそれぞれ対応する前記第２目標検出結果に基づき、前記サンプルデータを生成するか、又は、前記複数のフレームの第１点群データにそれぞれ対応する前記第２目標検出結果、及び複数のフレームの第３目標点群データにそれぞれ対応する第３目標検出結果に基づき、サンプルデータを生成するステップと、を含んでもよい。
具体的な実現プロセスは、上記図２に対応する実施例と同様であり、ここでは説明を省略する。
同一の発明構想に基づき、本開示の実施例は、サンプル生成方法に対応するニューラルネットワークの訓練方法をさらに提供する。
図３は、本開示の実施例により提供されるニューラルネットワークの訓練方法のフローチャートであり、前記訓練方法は、
複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得るステップＳ３０１と、
各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、複数のフレームの第１点群データから、第１目標点群データを決定するステップＳ３０２と、
第１目標点群データ、及び第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成するステップＳ３０３と、
サンプルデータを利用して、訓練待ちの目標検出用ニューラルネットワークを訓練し、目標検出用ニューラルネットワークを得るステップＳ３０４と、を含む。
実際に実施する時、目標検出用ニューラルネットワークは、上記サンプル生成方法における予め訓練された目標検出用ニューラルネットワークと同じものであってもよく、又は、目標検出用ニューラルネットワークを再選択して訓練したものであってもよい。同様に、目標検出用ニューラルネットワークを再選択する場合、目標検出用ニューラルネットワークは、例えば、ベイジアンニューラルネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ：ＢＮと略称）又は人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＡＮＮと略称）を含んでもよく、ここで、再決定された訓練待ちの目標検出用ニューラルネットワークは、予め訓練された目標検出用ニューラルネットワークと同じ構造であり、初期パラメータが異なる。
サンプルデータを利用すれば、訓練待ちの目標検出用ニューラルネットワークを訓練して、目標検出用ニューラルネットワークを得ることができる。上記Ｓ３０１～Ｓ３０３に対応するサンプルデータを生成する具体的な方法は、上記Ｓ１０１～Ｓ１０３に対応するサンプル生成方法と同様であり、ここでは説明を省略する。
同一の発明構想に基づき、本開示の実施例は、サンプル生成方法に対応するデータ処理方法をさらに提供する。
図４は、本開示の実施例により提供されるデータ処理方法のフローチャートであり、前記データ処理方法は、
処理待ちの点群データを取得するステップＳ４０１と、
本開示の実施例により提供されるニューラルネットワークの訓練方法で訓練されたニューラルネットワークを利用して、前記処理待ちの点群データを処理し、前記処理待ちの点群データのデータ処理結果を得るステップＳ４０２と、を含む。
処理待ちの点群データは、例えば、第１点群データ、又はラベリング情報を含まない点群データを含んでもよい。処理待ちの点群データを取得する具体的な方法は、上記Ｓ１０１の第１点群データを取得する方法と同様であり、ここでは説明を省略する。
決定された目標検出用ニューラルネットワークを利用すれば処理待ちの点群データを処理できる場合、得られた処理待ちの点群データのデータ処理結果は、例えば、処理待ちの点群データに対応する目標検出結果、つまり、処理待ちの点群データについて対応位置に目標対象が含まれるか否かを決定するためのラベリング情報を含んでもよい。
このとき、得られた目標検出用ニューラルネットワークが任意の点群データに対して目標検出を行う時に得た目標検出結果は精度がさらに高いため、目標検出用ニューラルネットワークを利用して処理待ちの点群データに対して目標検出処理を行った後に得られたデータ処理結果は精度がさらに高くなる。
同一の発明構想に基づき、本開示の実施例は、サンプル生成方法に対応する知的走行装置の走行制御方法をさらに提供する。
図５は、本開示の実施例により提供される知的走行装置の走行制御方法のフローチャートであり、前記知的走行装置の走行制御方法は、
走行中において知的走行装置によって収集された点群データを取得するステップＳ５０１と、
本開示の実施例により提供されるニューラルネットワークの訓練方法で訓練されたニューラルネットワークを利用して、点群データにおける目標対象を検出するステップＳ５０２と、
検出された目標対象に基づき、知的走行装置を制御するステップＳ５０３と、を含む。
具体的に実施する時、走行装置は、例えば、自動運転車両、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ：ＡＤＡＳと略称）が装着された車両、又はロボット等のうちのいずれかであるが、それらに限定されない。
走行装置の制御は、例えば、走行装置の加速、減速、ステアリング、ブレーキ等の制御を含むか、又は音声指示情報の再生によって、走行装置の加速、減速、ステアリング、ブレーキ等を制御するように運転者に注意を促してもよい。
対応位置に障害物が存在することを表す点群データを目標対象とする場合、目標対象に基づいて目標空間での障害物の具体的な位置を決定して、目標空間での障害物を避けるように知的走行装置を制御することができ、対応位置に障害物が存在しないことを表す点群データを目標対象とする場合、目標対象に基づいて目標空間での走行可能な道路の具体的な位置を決定して、走行可能な道路の範囲内に走行するように知的走行装置を制御することができる。
本開示の実施例により提供されるニューラルネットワークの訓練方法で得られた目標検出用ニューラルネットワークはさらに高い精度を有し、このため、該ニューラルネットワークの訓練方法で得られた目標検出用ニューラルネットワークを利用して処理待ちの点群データに対して目標検出を行う時、得られた目標検出結果の精度がさらに高くなり、それにより、目標空間に障害物が存在するか否かを判定する時、さらに正確な判定結果を得ることができることで、知的走行装置の走行制御においてその障害物回避能力、及び安全性をさらに高くすることができる。
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならず、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
同一の発明構想に基づき、本開示の実施例は、サンプル生成方法に対応するサンプル生成装置をさらに提供し、本開示の実施例における装置は問題を解決する原理が本開示の実施例に記載のサンプル生成方法と同様であるため、装置の実施は方法の実施を参照すればよく、重複部分の説明は省略する。
図６は本開示の実施例により提供されるサンプル生成装置の模式図であり、前記装置は、
複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得るように構成される第１検出モジュール６１と、
前記各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定するように構成される決定モジュール６２と、
前記第１目標点群データ、及び前記第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成するように構成される第１生成モジュール６３と、を含む。
選択的な一実施形態では、前記第１目標検出結果は、前記各フレームの第１点群データにおける目標の信頼度を含み、前記第１信頼度閾値は前記第２信頼度閾値より大きく、
前記決定モジュール６２は、前記各フレームの第１点群データにそれぞれ対応する第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定する場合、
各フレームの第１点群データにおける目標の信頼度を前記第１信頼度閾値及び前記第２信頼度閾値とそれぞれ比較し、
そして、信頼度が前記第１信頼度閾値より大きい、又は前記第２信頼度閾値より小さい目標を含む第１点群データを前記第１目標点群データとして決定するように構成される。
選択的な一実施形態では、前記第１検出モジュール６１は、予め訓練された目標検出用ニューラルネットワークを利用して前記複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行うものであり、前記第１生成モジュール６３は、前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果に基づき、サンプルデータを生成する場合、
前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して、前記予め訓練された目標検出用ニューラルネットワークを反復訓練し、続いて前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して、前記予め訓練された目標検出用ニューラルネットワークをｋ回反復訓練した後、訓練後の目標検出用ニューラルネットワークを得、ここでｋは正の整数であり、
前記訓練後の目標検出用ニューラルネットワークを利用して、前記複数のフレームの第１点群データのうちの各フレームの第１点群データの第２目標検出結果を決定し、
そして、繰り返し停止条件を満たす場合、各フレームの第１点群データの第２目標検出結果に基づき、前記サンプルデータを生成するように構成される。
選択的な一実施形態では、前記第１生成モジュール６３は、さらに、繰り返し停止条件を満たさない場合、前記各フレームの第１点群データの第２目標検出結果、前記第１信頼度閾値、及び前記第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第２目標点群データを決定し、
そして、第２目標点群データを新たな第１目標点群データとし、第２目標点群データの第２目標検出結果を新たな第１目標点群データの新たな第１目標検出結果とし、且つ前記訓練後の目標検出用ニューラルネットワークを予め訓練された目標検出用ニューラルネットワークとして、前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して前記予め訓練された目標検出用ニューラルネットワークを訓練するステップに戻るように構成される。
選択的な一実施形態では、前記繰り返し停止条件は、
前記訓練後の目標検出用ニューラルネットワークを得る回数が予め設定された回数に達することであって、前記予め設定された回数はｋの整数倍であることと、
各フレームの第１点群データの第１目標検出結果と第２目標検出結果との類似度が予め設定された類似度閾値より大きいこととのうちの少なくとも１つを含む。
選択的な一実施形態では、
前記第１目標点群データに対してデータ強化処理を行い、第３目標点群データを生成し、及び前記第１目標点群データに対応する第１目標検出結果に基づき、前記第３目標点群データの第３目標検出結果を生成するように構成されるデータ強化処理モジュール６４をさらに含み、
前記第１生成モジュール６３は、前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果に基づき、サンプルデータを生成する場合、
前記第１目標点群データ、前記第１目標点群データの第１目標検出結果、前記第３目標点群データ、前記第３目標点群データの第３目標検出結果に基づき、前記サンプルデータを生成するように構成される。
選択的な一実施形態では、前記データ強化処理は、
ランダムズーム場面処理、ランダム回転場面処理、座標軸に沿ったランダム反転場面処理、ランダム物体ズーム処理、ランダム物体回転処理、座標軸に沿ったランダム点群サンプリング処理のうちの少なくとも１つを含む。
装置内の各モジュールの処理フロー、及び各モジュール間の相互作用フローの説明は上記方法実施例の関連説明を参照すればよく、ここでは詳細な説明を省略する。
同一の発明構想に基づき、本開示の実施例は、サンプル生成方法に対応するサンプル生成装置をさらに提供し、本開示の実施例における装置は問題を解決する原理が本開示の実施例に記載のサンプル生成方法と同様であるため、装置の実施は方法の実施を参照すればよく、重複部分の説明は省略する。
図７は本開示の実施例により提供されるニューラルネットワークの訓練装置の模式図であり、前記装置は、
本開示の実施例により提供されるいずれかのサンプル生成方法を利用してサンプルデータを生成するように構成される第２生成モジュール７１と、
前記サンプルデータを利用して、訓練待ちの目標検出用ニューラルネットワークを訓練し、訓練後の目標検出用ニューラルネットワークを得るように構成されるモデル訓練モジュール７２と、を含む。
同一の発明構想に基づき、本開示の実施例は、ニューラルネットワークの訓練方法に対応するニューラルネットワークの訓練装置をさらに提供し、本開示の実施例における装置は問題を解決する原理が本開示の実施例に記載のニューラルネットワークの訓練方法と同様であるため、装置の実施は方法の実施を参照すればよく、重複部分の説明は省略する。
図８は本開示の実施例により提供されるデータ処理装置の模式図であり、前記装置は、
処理待ちの点群データを取得するように構成される第１取得モジュール８１と、
本開示の実施例により提供されるいずれかのニューラルネットワークの訓練方法に基づいて訓練されたニューラルネットワークを利用して、前記処理待ちの点群データを処理し、前記処理待ちの点群データのデータ処理結果を得るように構成される処理モジュール８２と、を含む。
装置内の各モジュールの処理フロー、及び各モジュール間の相互作用フローの説明は上記方法実施例の関連説明を参照すればよく、ここでは詳細な説明を省略する。
同一の発明構想に基づき、本開示の実施例は、データ処理方法に対応するデータ処理装置をさらに提供し、本開示の実施例における装置は問題を解決する原理が本開示の実施例に記載のデータ処理方法と同様であるため、装置の実施は方法の実施を参照すればよく、重複部分の説明は省略する。
図９は本開示の実施例により提供される知的走行装置の走行制御装置の模式図であり、前記装置は、
走行中において知的走行装置によって収集された点群データを取得するように構成される第２取得モジュール９１と、
本開示の実施例により提供されるいずれかのニューラルネットワークの訓練方法に基づいて訓練されたニューラルネットワークを利用して、前記点群データにおける目標対象を検出するように構成される第２検出モジュール９２と、
検出された目標対象に基づき、前記知的走行装置を制御するように構成される制御モジュール９３と、を含む。
装置内の各モジュールの処理フロー、及び各モジュール間の相互作用フローの説明は上記方法実施例の関連説明を参照すればよく、ここでは詳細な説明を省略する。
本開示の実施例は、コンピュータ機器をさらに提供し、図１０は本開示の実施例により提供されるコンピュータ機器の構成図であり、前記コンピュータ機器は、
プロセッサ１０及びメモリ２０を含み、前記メモリ２０には、プロセッサ１０により実行可能な機械可読命令が記憶されており、プロセッサ１０はメモリ２０に記憶されている機械可読命令を実行するために用いられ、前記機械可読命令がプロセッサ１０により実行されると、プロセッサ１０は、
複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得るステップと、
前記各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定するステップと、
前記第１目標点群データ、及び前記第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成するステップと、を実行する。
又は、プロセッサ１０は、
本開示の実施例により提供されるいずれかのサンプル生成方法を利用してサンプルデータを生成するステップと、
サンプルデータを利用して、訓練待ちの目標検出用ニューラルネットワークを訓練し、訓練後の目標検出用ニューラルネットワークを得るステップと、を実行する。
又は、プロセッサ１０は、
処理待ちの点群データを取得するステップと、
本開示の実施例により提供されるいずれかのニューラルネットワークの訓練方法で訓練されたニューラルネットワークを利用して、前記処理待ちの点群データを処理し、前記処理待ちの点群データのデータ処理結果を得るステップと、を実行する。
又は、プロセッサ１０は、
走行中において知的走行装置によって収集された点群データを取得するステップと、
本開示の実施例により提供されるいずれかのニューラルネットワークの訓練方法で生成されたニューラルネットワークを利用して、前記点群データにおける目標対象を検出するステップと、
検出された目標対象に基づき、前記知的走行装置を制御するステップと、を実行する。
上記メモリ２０は内部メモリ２０２１及び外部メモリ２０２２を含み、ここの内部メモリ２０２１は内蔵メモリとも呼ばれ、プロセッサ１０内の演算データ、及びハードディスク等の外部メモリ２０２２と交換するデータを一時的に保存するために用いられ、プロセッサ１０は内部メモリ２０２１を介して外部メモリ２０２２とデータを交換する。
上記命令の具体的な実行プロセスは、本開示の実施例におけるそれぞれ対応する前記サンプル生成、ニューラルネットワーク訓練、データ処理、知的走行装置の走行制御方法のステップを参照すればよく、ここでは説明を省略する。
本開示の実施例は、コンピュータ可読記憶媒体をさらに提供し、該コンピュータ可読記憶媒体には、プロセッサにより実行されると、上記方法実施例におけるそれぞれ対応する前記サンプル生成、ニューラルネットワーク訓練、データ処理、知的走行装置の走行制御方法のステップを実行するコンピュータプログラムが記憶されている。該記憶媒体は揮発性又は不揮発性のコンピュータ可読記憶媒体であってもよい。
本開示の実施例は、プログラムコードが担持されているコンピュータプログラム製品をさらに提供し、該プログラムコードに含まれる命令は、上記方法実施例におけるそれぞれ対応する前記サンプル生成、ニューラルネットワーク訓練、データ処理、知的走行装置の走行制御方法のステップを実行するために用いることができる。具体的には上記方法実施例を参照すればよく、ここでは説明を省略する。
上記コンピュータプログラムはプロセッサにより実行される時に前記実施例のいずれかの方法を実現する。該コンピュータプログラム製品は、具体的にはハードウェア、ソフトウェア又はそれらの組み合わによって実現可能である。選択可能な一実施例において、前記コンピュータプログラム製品は、具体的にはコンピュータ記憶媒体として実現され、別の選択可能な一実施例において、コンピュータプログラム製品は具体的には、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫと略称）等のソフトウェア製品として実現される。
当業者であれば、説明を簡単化及び簡潔化するために、上述したシステム及び装置の具体的な動作プロセスは、前記方法の実施例における対応するプロセスを参照すればよいことが明確に理解され、ここでは説明を省略する。本開示が提供するいくつかの実施例では、開示したシステム、装置及び方法は、他の形態で実現することができることを理解すべきである。上述した装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現時に別の形態で分割してもよく、さらに、例えば、複数のユニット又はコンポーネントは組み合わせてもよく、又は別のシステムに統合してもよく、又はいくつかの特徴を省略もしくは実行しなくてもよい。一方、図示又は説明した相互の結合又は直接結合又は通信接続はいくつかの通信インタフェース、装置又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。
分離部材として説明した前記ユニットは、物理的に分離されたものであってもなくてもよく、ユニットとして示した部材は物理ユニットであってもなくてもよく、１箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。
また、本開示の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、２つ又は２つ以上で１つのユニットに統合されてもよい。
前記機能がソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、プロセッサにより実行可能な不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような見解をもとに、本開示の技術的解決手段は実質的に又は従来技術に寄与する部分又は該技術的解決手段の一部がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい）に本開示の各実施例に記載の方法の全て又は一部のステップを実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭと略称）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭと略称）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。
最後に説明すべきは、以上に記載の実施例は本開示の具体的な実施形態に過ぎず、本開示の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、本開示の保護範囲はそれに限定されるものでない点である。前記実施例を参照しながら本開示を詳細に説明したが、当業者であれば理解できるように、本開示に記載された技術範囲内に、当業者であれば、前記実施例に記載の技術的解決手段の修正又は容易に想到できる変化、又はその一部の技術的特徴の同等置換を行うことができ、これらの修正、変化又は置換は、該当する技術的解決手段の本質を本開示の実施例の技術的解決手段の精神及び範囲から逸脱させることなく、いずれも本開示の保護範囲内に含まれるものとする。従って、本開示の保護範囲は請求項の保護範囲に準ずるものとする。

Claims (16)

  1. 複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得るステップと、
    前記各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定するステップと、
    前記第１目標点群データ、及び前記第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成するステップと、を含むことを特徴とする、サンプル生成方法。
  2. 前記第１目標検出結果は、前記各フレームの第１点群データにおける目標の信頼度を含み、前記第１信頼度閾値は前記第２信頼度閾値より大きく、
    前記各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定するステップは、
    各フレームの第１点群データにおける目標の信頼度を前記第１信頼度閾値及び前記第２信頼度閾値とそれぞれ比較するステップと、
    信頼度が前記第１信頼度閾値より大きい、又は前記第２信頼度閾値より小さい目標を含む第１点群データを前記第１目標点群データとして決定するステップと、を含むことを特徴とする
    請求項１に記載のサンプル生成方法。
  3. 予め訓練された目標検出用ニューラルネットワークを利用して前記複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、
    前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果に基づき、サンプルデータを生成するステップは、
    前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して、前記予め訓練された目標検出用ニューラルネットワークを反復訓練するステップと、
    前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して、前記予め訓練された目標検出用ニューラルネットワークをｋ回反復訓練した後、訓練後の目標検出用ニューラルネットワークを得るステップであって、ｋは正の整数であるステップと、
    前記訓練後の目標検出用ニューラルネットワークを利用して、前記複数のフレームの第１点群データのうちの各フレームの第１点群データの第２目標検出結果を決定するステップと、
    繰り返し停止条件を満たす場合、各フレームの第１点群データの第２目標検出結果に基づき、前記サンプルデータを生成するステップと、を含むことを特徴とする
    請求項１に記載のサンプル生成方法。
  4. 繰り返し停止条件を満たさない場合、前記各フレームの第１点群データの第２目標検出結果、前記第１信頼度閾値、及び前記第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第２目標点群データを決定するステップと、
    第２目標点群データを新たな第１目標点群データとし、第２目標点群データの第２目標検出結果を新たな第１目標点群データの新たな第１目標検出結果とし、且つ前記訓練後の目標検出用ニューラルネットワークを前記予め訓練された目標検出用ニューラルネットワークとして、前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果を利用して前記予め訓練された目標検出用ニューラルネットワークを反復訓練するステップに戻るステップと、をさらに含むことを特徴とする
    請求項３に記載のサンプル生成方法。
  5. 前記繰り返し停止条件は、
    前記訓練後の目標検出用ニューラルネットワークを得る回数が予め設定された回数に達することであって、前記予め設定された回数がｋの整数倍であることと、
    各フレームの第１点群データの第１目標検出結果と第２目標検出結果との類似度が予め設定された類似度閾値より大きいことと、のうちの少なくとも１つを含むことを特徴とする
    請求項３又は４に記載のサンプル生成方法。
  6. 前記第１目標点群データに対してデータ強化処理を行い、第３目標点群データを生成し、前記第１目標点群データに対応する第１目標検出結果に基づき、前記第３目標点群データの第３目標検出結果を生成するステップをさらに含み、
    前記第１目標点群データ、及び前記第１目標点群データの第１目標検出結果に基づき、サンプルデータを生成するステップは、
    前記第１目標点群データ、前記第１目標点群データの第１目標検出結果、前記第３目標点群データ、前記第３目標点群データの第３目標検出結果に基づき、前記サンプルデータを生成するステップを含むことを特徴とする
    請求項１から５のいずれか１項に記載のサンプル生成方法。
  7. 前記データ強化処理は、
    ランダムズーム場面処理、ランダム回転場面処理、座標軸に沿ったランダム反転場面処理、ランダム物体ズーム処理、ランダム物体回転処理、座標軸に沿ったランダム点群サンプリング処理のうちの少なくとも１つを含むことを特徴とする
    請求項６に記載のサンプル生成方法。
  8. 請求項１から７のいずれか１項に記載のサンプル生成方法を利用してサンプルデータを生成するステップと、
    前記サンプルデータを利用して、訓練待ちの目標検出用ニューラルネットワークを訓練し、訓練後の目標検出用ニューラルネットワークを得るステップと、を含むことを特徴とする、ニューラルネットワークの訓練方法。
  9. 処理待ちの点群データを取得するステップと、
    請求項８に記載のニューラルネットワークの訓練方法に基づいて訓練されたニューラルネットワークを利用して、前記処理待ちの点群データに対して目標検出を行い、目標検出結果を得るステップと、を含むことを特徴とする、データ処理方法。
  10. 走行中において知的走行装置によって収集された点群データを取得するステップと、
    請求項８に記載のニューラルネットワークの訓練方法に基づいて訓練されたニューラルネットワークを利用して、前記点群データにおける目標対象を検出するステップと、
    検出された目標対象に基づき、前記知的走行装置を制御するステップと、を含むことを特徴とする、知的走行装置の走行制御方法。
  11. 複数のフレームの第１点群データのうちの各フレームの第１点群データに対して目標検出を行い、各フレームの第１点群データの第１目標検出結果を得るように構成される第１検出モジュールと、
    前記各フレームの第１点群データの第１目標検出結果、点群データに目標が存在することを表す第１信頼度閾値、及び点群データに目標が存在しないことを表す第２信頼度閾値に基づき、前記複数のフレームの第１点群データから、第１目標点群データを決定するように構成される決定モジュールと、
    前記第１目標点群データ、及び前記第１目標点群データに対応する第１目標検出結果に基づき、サンプルデータを生成するように構成される第１生成モジュールと、を含むことを特徴とする、サンプル生成装置。
  12. 請求項１から７のいずれか１項に記載のサンプル生成方法を利用してサンプルデータを生成するように構成される第２生成モジュールと、
    前記サンプルデータを利用して、訓練待ちの目標検出用ニューラルネットワークを訓練し、訓練後の目標検出用ニューラルネットワークを得るように構成されるモデル訓練モジュールと、を含むことを特徴とする、ニューラルネットワークの訓練装置。
  13. 処理待ちの点群データを取得するように構成される第１取得モジュールと、
    請求項８に記載のニューラルネットワークの訓練方法に基づいて訓練されたニューラルネットワークを利用して、前記処理待ちの点群データを処理し、前記処理待ちの点群データのデータ処理結果を得るように構成される処理モジュールと、を含むことを特徴とする、データ処理装置。
  14. 走行中において知的走行装置によって収集された点群データを取得するように構成される第２取得モジュールと、
    請求項８に記載のニューラルネットワークの訓練方法に基づいて訓練されたニューラルネットワークを利用して、前記点群データにおける目標対象を検出するように構成される第２検出モジュールと、
    検出された目標対象に基づき、前記知的走行装置を制御するように構成される制御モジュールと、を含むことを特徴とする、知的走行装置の走行制御装置。
  15. プロセッサ及びメモリを含み、前記メモリには、前記プロセッサにより実行可能な機械可読命令が記憶されており、前記プロセッサは前記メモリに記憶されている機械可読命令を実行するために用いられ、前記機械可読命令が前記プロセッサにより実行されると、前記プロセッサは、請求項１から７のいずれか１項に記載のサンプル生成方法、又は請求項８に記載のニューラルネットワークの訓練方法、又は請求項９に記載のデータ処理方法、又は請求項１０に記載の知的走行装置の走行制御方法を実行することを特徴とする、コンピュータ機器。
  16. コンピュータ機器により実行されると、前記コンピュータ機器に、請求項１から７のいずれか１項に記載のサンプル生成方法、又は請求項８に記載のニューラルネットワークの訓練方法、又は請求項９に記載のデータ処理方法、又は請求項１０に記載の知的走行装置の走行制御方法を実行させるためのコンピュータプログラムが記憶されていることを特徴とする、コンピュータ可読記憶媒体。
JP2022514192A 2020-10-30 2021-06-28 サンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置 Withdrawn JP2023502834A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011194001.6 2020-10-30
CN202011194001.6A CN112163643A (zh) 2020-10-30 2020-10-30 样本生成、神经网络的训练、数据处理方法及装置
PCT/CN2021/102678 WO2022088720A1 (zh) 2020-10-30 2021-06-28 样本生成、神经网络的训练、数据处理方法及装置

Publications (1)

Publication Number Publication Date
JP2023502834A true JP2023502834A (ja) 2023-01-26

Family

ID=73866303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022514192A Withdrawn JP2023502834A (ja) 2020-10-30 2021-06-28 サンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置

Country Status (4)

Country Link
JP (1) JP2023502834A (ja)
KR (1) KR20220058900A (ja)
CN (1) CN112163643A (ja)
WO (1) WO2022088720A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163643A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置
CN112950622B (zh) * 2021-03-29 2023-04-18 上海商汤临港智能科技有限公司 一种目标检测方法、装置、计算机设备和存储介质
CN112990200A (zh) * 2021-03-31 2021-06-18 上海商汤临港智能科技有限公司 一种数据标注方法、装置、计算机设备及存储介质
US11624831B2 (en) 2021-06-09 2023-04-11 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium
CN113253299B (zh) * 2021-06-09 2022-02-01 深圳市速腾聚创科技有限公司 障碍物检测方法、装置及存储介质
CN115994589B (zh) * 2023-03-23 2023-05-23 北京易控智驾科技有限公司 训练方法和装置、目标检测方法、电子设备和存储介质
CN116721399B (zh) * 2023-07-26 2023-11-14 之江实验室 一种量化感知训练的点云目标检测方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2532948B (en) * 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
CN107945198B (zh) * 2016-10-13 2021-02-23 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN109919302B (zh) * 2019-02-28 2021-11-02 新华三技术有限公司 一种用于图像的神经网络的训练方法及装置
CN110264468B (zh) * 2019-08-14 2019-11-19 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN112163643A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置

Also Published As

Publication number Publication date
CN112163643A (zh) 2021-01-01
KR20220058900A (ko) 2022-05-10
WO2022088720A1 (zh) 2022-05-05

Similar Documents

Publication Publication Date Title
JP2023502834A (ja) サンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置
US11721042B2 (en) Target detection method, electronic device and medium
CN110225852B (zh) 用于自主车辆的反馈
US20210373161A1 (en) Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles
JP2022516288A (ja) 階層型機械学習ネットワークアーキテクチャ
Pavel et al. Vision-based autonomous vehicle systems based on deep learning: A systematic literature review
US20230419113A1 (en) Attention-based deep reinforcement learning for autonomous agents
CN113272830A (zh) 行为预测系统中的轨迹表示
US20180211119A1 (en) Sign Recognition for Autonomous Vehicles
GB2560805A (en) Training an automatic traffic light detection model using simulated images
Kaluri et al. Optimized feature extraction for precise sign gesture recognition using self-improved genetic algorithm
CA3165486A1 (en) Vehicle intent prediction neural network
US11544498B2 (en) Training neural networks using consistency measures
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
US20220297728A1 (en) Agent trajectory prediction using context-sensitive fusion
US20230260271A1 (en) Aligning entities using neural networks
WO2022035602A2 (en) Agent trajectory prediction using target locations
CN116210030A (zh) 基于半监督关键点的模型
US11950166B2 (en) Predicting occupancy probabilities of surrounding agents
CN113011364A (zh) 神经网络训练、目标对象检测、行驶控制方法及装置
WO2023273467A1 (zh) 真值数据确定、神经网络训练、行驶控制方法及装置
KR20220035343A (ko) 자율 운전 특징의 확정 방법, 장치, 기기, 매체 및 컴퓨터 프로그램
WO2022104256A1 (en) Processing sparse top-down input representations of an environment using neural networks
US11873011B2 (en) Labeling lane segments for behavior prediction for agents in an environment
Misu et al. Situated language understanding for a spoken dialog system within vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220302

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230113