JP2022547873A - 点群データ処理方法及び装置 - Google Patents

点群データ処理方法及び装置 Download PDF

Info

Publication number
JP2022547873A
JP2022547873A JP2022514581A JP2022514581A JP2022547873A JP 2022547873 A JP2022547873 A JP 2022547873A JP 2022514581 A JP2022514581 A JP 2022514581A JP 2022514581 A JP2022514581 A JP 2022514581A JP 2022547873 A JP2022547873 A JP 2022547873A
Authority
JP
Japan
Prior art keywords
matrix
target
cloud data
point cloud
lattice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022514581A
Other languages
English (en)
Inventor
ジョー ワン
ジエンピン シー
Original Assignee
シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド filed Critical シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Publication of JP2022547873A publication Critical patent/JP2022547873A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本願は、点群データ処理方法及び装置を提供する。該方法は、レーダー装置によって目標場面で走査して得られた処理待ちの点群データを取得することと、前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定することと、前記目標点群データに対して検出を行い、検出結果を得ることと、を含む。

Description

(関連出願の相互参照)
本願は、2020年7月22日に提出された、出願番号が202010713989.6であり、発明名称が「点群データ処理方法及び装置」である中国特許出願の優先権を主張し、該出願が参照として本願に組み込まれる。
本願は、情報処理技術分野に関し、具体的には、点群データ処理方法及び装置に関する。
科学技術の進歩に伴い、レーザーレーダーは、正確な距離測定能力で、自動運転、無人機による探査及び地図作成などの分野に広く用いられている。自動運転を例として、自動運転の適用シーンにおいて、一般的には、レーザーレーダーによって収集された点群データに対して処理を行うことによって、車両の位置決め及び障害物の認識を実現している。点群データに対して処理を行う時に、一般的には、消費されるコンピューティングリソースが多いことに対して、点群データを処理する電子機器のコンピューティングリソースが限られており、しかも点群データが全部車両の位置決め及び障害物の認識に有用であると限らないため、このような演算方法の演算効率が低く、且つコンピューティングリソースの利用率が低い。
本願の実施例は少なくとも、点群データ処理方法及び装置を提供する。
第1態様によれば、本願の実施例は、点群データ処理方法を提供する。前記方法は、レーダー装置によって目標場面で走査して得られた処理待ちの点群データを取得することと、前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定することと、前記目標点群データに対して検出を行い、検出結果を得ることと、を含む。
上記方法によれば、目標場面に対応する有効感知範囲情報に基づいて、目標場面においてレーダー装置で収集された処理待ちの点群データに対して選定を行うことができ、選定された目標点群データが、目標場面における対応する目標点群データであるため、選定された点群データに基づいて、更に、目標場面で検出と演算を行うことによって、演算量を低減させ、演算効率及び目標場面におけるコンピューティングリソースの利用率を向上させることができる。
可能な実施形態において、処理機器のコンピューティングリソース情報を取得し、前記コンピューティングリソース情報に基づいて、前記コンピューティングリソース情報に合致する前記有効感知範囲情報を決定するという方式によって、前記目標場面に対応する有効感知範囲情報を決定する。
このような方式によって、同一の目標場面における処理待ちの点群データを処理する電子機器に対して、異なる有効感知範囲情報を決定することができ、それにより異なる電子機器に適応することができる。
可能な実施形態において、前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定することは、前記有効感知範囲情報に基づいて、有効座標範囲を決定することと、前記有効座標範囲に基づいて、前記処理待ちの点群データから、目標点群データを選定することを含む。
可能な実施形態において、前記有効感知範囲情報に基づいて、有効座標範囲を決定することは、前記有効感知範囲内における参考位置点の位置情報、及び前記目標場面における前記参考位置点の座標情報に基づいて、前記目標場面に対応する有効座標範囲を決定することを含む。
可能な実施形態において、前記有効座標範囲に基づいて、前記処理待ちの点群データから、目標点群データを選定することは、対応する座標情報が前記有効座標範囲内に位置するレーダー走査点を前記目標点群データにおけるレーダー走査点とすることを含む。
可能な実施形態において、前記レーダー装置が設けられているスマート走行機器の位置情報を取得し、前記スマート走行機器の位置情報に基づいて、前記スマート走行機器が所在する道路の道路タイプを決定し、前記道路タイプに合致する参考位置点の座標情報を前記目標場面における前記参考位置点の座標情報として取得するという方式によって、前記目標場面における前記参考位置点の座標情報を決定する。
ここで、スマート走行機器が異なる道路タイプの道路上に位置する場合に処理すべき点群データは異なる可能性がある。そのため、道路タイプに合致する参考位置点の座標情報を取得することによって、スマート走行機器に対して、現在では位置する道路タイプに合致する有効座標範囲を決定することができ、それにより対応する道路タイプでの点群データを選定し、異なる道路タイプの場合のスマート走行機器の検出結果の正確率を向上させることができる。
可能な実施形態において、前記検出結果は、前記目標場面における認識待ちの対象の位置を含み、前記目標点群データに対して検出を行い、検出結果を得ることは、前記目標点群データに対して格子化処理を行い、格子行列を得ることであって、前記格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものである、ことと、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記認識待ちの対象に対応する疎行列を生成することと、生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置を決定することと、を含む。
可能な実施形態において、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記認識待ちの対象に対応する疎行列を生成することは、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における目標要素に対して少なくとも1回の膨張処理操作又は収縮処理操作を行い、前記認識待ちの対象に対応する疎行列を生成することを含み、ここで、前記目標要素の値は、対応する格子に前記目標点が存在することを表す。
可能な実施形態において、前記膨張処理操作又は収縮処理操作は、シフト処理及び論理演算処理を含み、前記疎行列の座標範囲と前記認識待ちの対象のサイズとの差は、所定の閾値範囲内にある。
可能な実施形態において、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における要素に対して少なくとも1回の膨張処理操作を行い、前記認識待ちの対象に対応する疎行列を生成することは、今回の膨張処理操作の前の格子行列における要素に対して第1反転操作を行い、第1反転操作後の格子行列を得ることと、第1所定の畳み込みカーネルに基づいて、前記第1反転操作後の格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得ることであって、前記所定の疎性は、前記目標場面における認識待ちの対象のサイズ情報によって決まる、ことと、前記少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列における要素に対して、第2反転操作を行い、前記疎行列を得ることと、を含む。
可能な実施形態において、今回の膨張処理操作の前の格子行列における要素に対して第1反転操作を行い、第1反転操作後の格子行列を得ることは、第2所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における、前記目標要素以外の他の要素に対して、畳み込み演算を行い、第1反転要素を得て、第2所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における目標要素に対して、畳み込み演算を行い、第2反転要素を得ることと、前記第1反転要素及び前記第2反転要素に基づいて、第1反転操作後の格子行列を得ることと、を含む。
可能な実施形態において、第1所定の畳み込みカーネルに基づいて、前記第1反転操作後の格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得ることは、初回の畳み込み演算に対して、前記第1反転操作後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得ることと、前回の畳み込み演算後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、今回の畳み込み演算の後の格子行列を得るステップを繰り返して実行し、前記所定の疎性を有する格子行列を得るまで継続することと、を含む。
可能な実施形態において、前記第1所定の畳み込みカーネルは、重み行列と、該重み行列に対応するオフセット量と、を有し、初回の畳み込み演算に対して、前記第1反転操作後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得ることは、初回の畳み込み演算に対して、第1所定の畳み込みカーネルのサイズ及び所定のステップサイズに従って、前記第1反転操作後の格子行列から各格子サブ行列を選択することと、選択された各前記格子サブ行列に対して、該格子サブ行列と前記重み行列に対して積演算を行い、第1演算結果を得て、前記第1演算結果と前記オフセット量に対して加算を行い、第2演算結果を得ることと、各前記格子サブ行列に対応する第2演算結果に基づいて、初回の畳み込み演算後の格子行列を決定することと、を含む。
可能な実施形態において、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における要素に対して、少なくとも1回の収縮処理操作を行い、前記認識待ちの対象に対応する疎行列を生成することは、第3所定の畳み込みカーネルに基づいて、処理待ちの格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得ることであって、前記所定の疎性は、前記目標場面における認識待ちの対象のサイズ情報によって決まる、ことと、前記少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を、前記認識待ちの対象に対応する疎行列として決定することと、を含む。
可能な実現形態において、前記目標点群データに対して格子化処理を行い、格子行列を得ることは、前記目標点群データに対して格子化処理を行い、格子行列、該格子行列における各要素と各目標点座標範囲情報との対応関係を得ることを含み、生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置範囲を決定することは、前記格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された前記疎行列における各目標要素に対応する目標点の座標情報を決定することと、前記疎行列における各前記目標要素に対応する目標点の座標情報を組み合わせ、前記目標場面における前記認識待ちの対象の位置を決定することと、を含む。
可能な実施形態において、生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置を決定することは、訓練された畳み込みニューラルネットワークに基づいて、生成された前記疎行列における各目標要素に対して、少なくとも1回の畳み込み処理を行い、畳み込み結果を得ることと、前記畳み込み結果に基づいて、前記目標場面における前記認識待ちの対象の位置を決定することと、を含む。
可能な実施形態において、前記目標点群データに対して検出を行い、検出結果を得た後、前記方法は、前記検出結果に基づいて、前記レーダー装置が設けられているスマート走行機器を制御することを更に含む。
第2態様によれば、本願の実施例は、点群データ処理装置を更に提供する。前記装置は、レーダー装置によって目標場面で走査して得られた処理待ちの点群データを取得するように構成される取得モジュールと、前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定するように構成される選定モジュールと、前記目標点群データに対して検出を行い、検出結果を得るように構成される検出モジュールと、を備える。
第3態様によれば、本願の実施例は、コンピュータ機器を更に提供する。前記コンピュータ機器は、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、コンピュータ機器が動作する時に、前記プロセッサと前記メモリとは、バスを介して通信し、前記機器可読命令が前記プロセッサにより実行される場合、上記第1態様又は第1態様におけるいずれか1つの可能な実施形態におけるステップを実行する。
第4態様によれば、本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体に記憶されているコンピュータプログラムがプロセッサにより実行される場合、上記第1態様又は第1態様におけるいずれか1つの可能な実施形態におけるステップを実行する。
上記点群データ処理装置、コンピュータ機器及びコンピュータ可読記憶媒体の効果に関する記述は、上記点群データ処理方法の説明を参照し、ここで、詳細な説明を省略する。
本願の上記目的、特徴及び利点をより明確かつ分かりやすくするために、以下、好適な実施例を挙げて、添付図面を参照しながら、以下のように、詳しく説明する。
本願の実施例による点群データ処理方法を示すフローチャートである。 本願の実施例による直方体の各位置点の座標を示す概略図である。 本願の実施例による前記参考位置点の座標情報を決定する方法を示すフローチャートである。 本願の実施例による検出結果決定方法を示すフローチャートである。 本願の実施例による符号化前の格子行列を示す概略図である。 本願の実施例による疎行列を示す概略図である。 本願の実施例による符号化後の格子行列を示す概略図である。 本願の実施例による左シフトした格子行列を示す概略図である。 本願の実施例による論理和演算を示す概略図である。 本願の実施例による第1反転操作後の格子行列を示す概略図である。 本願の実施例による畳み込み演算後の格子行列を示す概略図である。 本願の実施例による点群データ処理装置のアーキテクチャを示す概略図である。 本願の実施例によるコンピュータ機器の構造を示す概略図である。
本願の実施例の技術的解決手段をより明確に説明するために、上記において、実施例に必要な図面を簡単に説明している。ここで添付した図面は、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。下記図面は、本願の幾つかの実施形態のみを図示しており、範囲を制限するものではないことが理解されるべきである。当業者は、創造的労働を行うことなく、これらの図面に基づいてその他の関連する図面を得ることもできる。
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本出願の一部の実施例である。一般的には、図面に説明されて示されている本願の実施例のコンポーネントは、多岐にわたる異なる構成で配置及び設計することができる。従って、以下では、図面を参照しながら提供される本願の実施例の下記詳細な説明は、特許請求されている本願の範囲を限定するものではなく、本願の選択された実施例を示すためのものに過ぎない。本願の実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。
関連技術において、点群データを処理する時、一般的には、消費されるコンピューティングリソースが比較的に多いことに対して、収集された点群データが全部必要な演算結果に有用であると限らず、一部の不必要な点群データが演算プロセスに関与することによって、コンピューティングリソースの浪費を引き起こす。
これに鑑み、点群データ処理方法及び装置を提供し、目標場面に対応する有効感知範囲情報に基づいて、目標場面においてレーダー装置で収集された処理待ちの点群データに対して選定を行うことができ、選定された目標点群データが、目標場面における有効な点群データであり、そのため、選定された点群データに基づいて、更に、目標場面で検出と演算を行うことによって、演算量を低減させ、演算効率及び目標場面におけるコンピューティングリソースの利用率を向上させることができる。
上記に記載される欠陥はいずれも、発明者らが実践及び鋭意検討した後に得られた結果である。従って、上記問題点の発見過程及び下記の記載における本願が上記の問題点に対して提出する解決手段は、いずれも発明者による本開示の従来技術への貢献であるはずである。
下記図面において、類似した符号及び文字は、類似した要素を表すため、1つの要素が1つの図面において定義されていると、後続の図面において、これに対して定義及び説明を行う必要がないことに留意されたい。
本実施例を理解しやすくするために、まず、本願の実施例が開示する点群データ処理方法を詳しく説明する。本願の実施例が提供する点群データ処理方法の実施主体は、一般的には、一定のコンピューティング能力を有するコンピュータ機器である。該コンピュータ機器は、例えば、端末機器、サーバ又は他の処理機器を含む。端末機器は、ユーザ機器(User Equipment:UE)、携帯機器、ユーザ端末、端末、パーソナルデジタルアシスタント(Personal Digital Assistant:PDA)、コンピューティング機器、車載機器などであってもよい。幾つかの可能な実現形態において、該点群データ処理方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。
図1に示すように、本願の実施例は、点群データ処理方法を提供する。前記方法は、ステップ101~ステップ103を含み、ここで、
ステップ101において、レーダー装置によって目標場面で走査して得られた処理待ちの点群データを取得する。
ステップ102において、前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定する。
ステップ103において、前記目標点群データに対して検出を行い、検出結果を得る。
以下では、上記ステップ101~ステップ103を詳しく説明する。
前記レーダー装置は、スマート走行機器に配置されてもよい。スマート走行機器の走行中において、レーダー装置は、走査を行い、処理待ちの点群データを得ることができる。
前記有効感知範囲情報は、参考座標系の各座標次元での座標閾値を含んでもよく、前記参考座標系は、三次元座標系である。
例示的に、有効感知範囲情報は、直方体を構成する記述情報であってもよく、例えば、該記述情報は、参考座標系の各座標次元での該直方体の長さ、幅、高さの座標閾値であってもよく、x軸方向における最大値x_maxと最小値x_min、y軸方向における最大値y_maxと最小値y_min、及びz軸方向における最大値z_maxと最小値z_minを含む。
例示的に、図2は、x軸方向における最大値x_maxと最小値x_min、y軸方向における最大値y_maxと最小値y_min、及びz軸方向における最大値z_maxと最小値z_minによって構成される直方体の各位置点の座標を示し、座標原点は、直方体の左下頂点であってもよく、その座標値は、(x_min,y_min,z_min)である。
別の可能な実施形態において、有効感知範囲情報は、球体、立方体などの記述情報であってもよい。例えば、球体の半径又は立方体の長さ、幅、高さのみが与えられており、具体的な有効感知範囲情報は、実際の適用シーンに応じて記述されてもよく、本願は、これを限定しない。
具体的な実施において、レーダー装置の走査範囲が限られており、例えば、最大走査距離が200メートルであるため、有効感知範囲による処理待ちの点群データの制約を保証するために、有効感知範囲に対する制約条件を予め設定してもよい。例示的に、x_max、y_max、z_maxの値をいずれも200メートル以下としてもよい。
可能な適用シーンにおいて、点群データに基づいた演算は、点群データに対応する空間ボクセルに基づいて行われる演算であり、例えば、点群の三次元空間情報に基づいて階層毎に学習するネットワーク(VoxelNet)である。従って、このような適用シーンにおいて、参考座標系の各座標次元での参考レーダー走査点の座標閾値を制限する以外に、各座標次元での参考レーダー走査点の空間ボクセルの数を、空間ボクセル閾値以下にするように制限することもできる。
例示的に、各座標次元での空間ボクセルの数は、下記式によって算出されてもよい。
N_x = (x_max - x_min) / x_gridsize
N_y = (y_max - y_min) / y_gridsize
N_z = (z_max - z_min) / z_gridsize
ここで、x_gridsize、y_gridsize、z_gridsizeはそれぞれ、予め設定された各次元に対応する解像度を表し、N_xは、x軸方向における空間ボクセルの数を表し、N_yは、y軸方向における空間ボクセルの数を表し、N_zは、z軸方向における空間ボクセルの数を表す。
別の可能な適用シーンにおいて、点群データに基づく演算は、平面図面積範囲内の点群データに基づいて演算を行うアルゴリズム、例えば点群に基づく高速目標検出フレームワーク(PointPillars)である可能性もあるため、俯瞰ボクセル面積を制限することもでき、例えば、N_x*N_yの値を制限することができる。
可能な実施形態において、前記目標場面に対応する有効感知範囲情報を決定する時に、実験に基づいて予め取得された有効感知範囲情報を取得することができる。該有効感知範囲情報は、目標場面において、予め設定された固定の値としてもよく、且つ該有効感知範囲情報も上記制限条件に従う。
別の可能な実施形態において、目標場面に対応する有効感知範囲情報を決定する時に、まず、処理機器のコンピューティングリソース情報を取得し、続いて、前記コンピューティングリソース情報に基づいて、前記コンピューティングリソースに合致する前記有効感知範囲情報を決定することもできる。
ここで、前記コンピューティングリソース情報は、中央演算処理装置CPUのメモリと、グラフィックスプロセッサGPUのビデオメモリと、フィールドプログラマブルゲートアレイFPGAのコンピューティングリソースと、のうちの少なくとも1つを含む。
具体的には、コンピューティングリソース情報に基づいて、コンピューティングリソースに合致する有効感知範囲情報を決定する時に、各レベルのコンピューティングリソース情報と有効感知範囲情報との対応関係を予め設定してもよい。そして、本願による方法が様々な電子機器に用いられる時、該対応関係に基づいて、該電子機器のコンピューティングリソース情報に合致する有効感知範囲情報を探し出すか、又は、電子機器のコンピューティングリソース情報の変動が検出された場合、有効感知範囲情報を動的に調整することができる。
コンピューティングリソース情報が中央演算処理装置CPUのメモリを含むことを例として、各レベルのコンピューティングリソース情報と有効感知範囲情報との対応関係は、表1に示すとおりである。
Figure 2022547873000002
ここで、上記各レベルのコンピューティングリソース情報と有効感知範囲情報との対応関係は、実験によって予め得られたものであってもよい。
このような方式によって、同一の目標場面において処理待ちの点群データを処理する異なる電子機器に対して、異なる有効感知範囲情報を決定することができ、それにより異なる電子機器に適応することができる。
可能な実施形態において、目標場面に対応する有効感知範囲情報に基づいて、処理待ちの点群データから目標点群データを選定する時に、まず、有効感知範囲情報に基づいて、有効座標範囲を決定し、続いて、有効座標範囲に基づいて、処理待ちの点群データから、目標点群データを選定することができる。
ここで、有効感知範囲情報と有効座標範囲がいずれも一定のものであるというケースと、有効座標範囲が有効感知範囲情報に応じて変わるというケースと、の2つのケースを含む可能性がある。
1つ目のケースに対して、例示的に、有効感知範囲情報は、直方体の記述情報であってもよく、直方体の長さ、幅及び高さを含む。レーダー装置を直方体の本体対角線の交点とし、直方体の本体対角線の交点の位置が変わらない場合、直方体は固定で変わらないものであり、直方体内の座標範囲は、有効座標範囲であり、そのため、有効座標範囲も固定で変わらない。
2つ目のケースに対して、有効感知範囲情報に基づいて、有効座標範囲を決定する時に、前記有効感知範囲内における参考位置点の位置情報、及び前記目標場面における前記参考位置点の座標情報に基づいて、前記目標場面に対応する有効座標範囲を決定することができる。
例示的に、有効感知範囲情報は、直方体の記述情報であってもよく、参考位置点は、直方体の本体対角線の交点であってもよい。従って、参考位置点の変動に従い、異なる目標場面において、有効感知範囲情報が変わるため、対応する有効座標範囲も変わる。
ここで、目標場面における前記参考位置点の座標情報は、目標場面に対応するレーダー座標系での参考位置点の座標情報であってもよく、前記レーダー座標系は、目標場面において点群データを収集するためのレーダー装置を座標原点として確立される三次元座標系であってもよい。
前記有効感知範囲情報が直方体の記述情報であれば、参考位置点は、直方体の本体対角線の交点であってもよく、有効感知範囲情報が球体の記述情報であれば、参考位置点は、球体の球心であってもよく、又は、参考位置点は、有効感知範囲情報におけるいずれか1つの参考レーダー走査点であってもよい。
具体的な実施において、前記有効感知範囲内における参考位置点の位置情報、及び前記目標場面における前記参考位置点の座標情報に基づいて、前記目標場面に対応する有効座標範囲を決定する時に、レーダー座標系での前記参考位置点の座標情報に基づいて、前記有効感知範囲情報における、参考座標系の各座標次元での座標閾値を、前記レーダー座標系の各座標次元での座標閾値に変換することができる。
具体的に、参考位置点は、参考座標系において、対応する第1座標情報を有してもよく、レーダー座標系において、対応する第2座標情報を有してもよく、参考位置点の第1座標情報及び第2座標情報に基づいて、参考座標系とレーダー座標系との変換関係を決定することができ、該変換関係に基づいて、前記有効感知範囲情報における参考レーダー走査点の、参考座標系の各座標次元での座標閾値を、前記レーダー座標系の各座標次元での座標閾値に変換することができる。
別の可能な実施形態において、まず、有効感知範囲情報における参考レーダー走査点の、参考座標系の各座標次元での座標閾値に対応する閾値座標点と参考位置点との相対的位置関係を決定し、続いて、該相対的位置関係に基づいて、有効感知範囲情報における参考レーダー走査点の、参考座標系の各座標次元での座標閾値の、レーダー座標系の各座標次元での座標閾値を決定することができる。
ここで、参考位置点の座標情報が変わった後、参考位置点の座標情報に基づいて決定された有効感知範囲情報における参考レーダー走査点の、レーダー座標系の各座標次元での座標閾値もそれに応じて変わり、即ち、目標場面に対応する有効座標範囲も変わる。従って、参考位置点の座標情報を制御することによって、異なる目標場面における有効座標範囲に対する制御を実現することができる。
可能な実施形態において、前記有効座標範囲に基づいて、前記処理待ちの点群データから目標点群データを選定する時に、対応する座標情報が前記有効座標範囲内に位置するレーダー走査点を前記目標点群データにおけるレーダー走査点とすることができる。
具体的には、レーダー走査点を記憶する場合、レーダー走査点の三次元座標情報を記憶してもよく、続いて、レーダー走査点の三次元座標情報に基づいて、該レーダー走査点が有効座標範囲内に位置するかどうかを判定することができる。
例示的に、レーダー走査点の三次元座標情報が(x,y,z)であれば、該レーダー走査点が目標点群データにおけるレーダー走査点であるかどうかを判定する時に、前記レーダー走査点の三次元座標情報が、
x_min<x<x_maxであり、且つy_min<y<y_maxであり、且つz_min<z<z_maxであるという条件を満たすかどうかを判定することができる。
以下では、具体的な適用シーンを参照しながら、上記点群データ処理方法の適用を詳しく説明する。可能な実施形態において、上記点群データ処理方法は、自動運転シーンに用いることができる。
可能な適用シーンにおいて、スマート走行機器にレーダー装置が設けられており、参考位置点の座標情報を決定する時に、図3に記載の方法で、前記参考位置点の座標情報を決定することができる。該方法は、下記ステップ301~ステップ303を含む。
ステップ301において、前記レーダー装置が設けられているスマート走行機器の位置情報を取得する。
スマート走行機器の位置情報を取得する時に、例えば、全地球測位システム(Global Positioning System:GPS)によって取得してもよく、本願は、スマート走行機器の位置情報を取得できる他の方式についても、制限しない。
ステップ302において、前記スマート走行機器の位置情報に基づいて、前記スマート走行機器が所在する道路の道路タイプを決定する。
具体的な実施において、スマート走行機器の走行可能な範囲内の各道路の道路タイプを予め設定してもよい。前記道路タイプは、例えば、十字路、T字路、高速道路、駐車場などを含んでもよい。前記スマート走行機器の位置情報に基づいて、前記スマート走行機器が所在する道路を決定することができ、続いて、予め設定されたスマート走行機器の走行可能な範囲内の各道路の道路タイプに基づいて、スマート走行機器が所在する道路の道路タイプを決定することができる。
ステップ303において、前記道路タイプに合致する参考位置点の座標情報を取得する。
異なる道路タイプにとって重点的に処理すべき点群データの位置が異なる可能性がある。例えば、スマート走行機器が高速道路に位置する場合、スマート走行機器で処理すべき点群データは、スマート走行機器の前方の点群データである可能性がある。スマート走行機器が十字路に位置する場合、スマート走行機器で処理すべき点群データは、スマート走行機器の四周の点群データである可能性がある。従って、異なる道路タイプに合致する参考位置点の座標情報を予め設定することによって、異なる道路タイプの場合の点群データの選定を実現することができる。
ここで、スマート走行機器が異なる道路タイプの道路上に位置する場合に処理すべき点群データは異なる可能性がある。そのため、道路タイプに合致する参考位置点の座標情報を取得することによって、スマート走行機器に対して、現在位置する道路タイプに合致する有効座標範囲を決定することができ、それにより対応する道路タイプでの点群データを選定し、異なる道路タイプの場合のスマート走行機器の検出結果の正確率を向上させることができる。
可能な実施形態において、前記処理待ちの点群データから、目標点群データを選定した後、前記目標点群データに対して検出を行い、検出結果を得た後、検出結果に基づいて、レーダー装置が設けられているスマート走行機器を制御することもできる。
例示的に、目標点群データを選定した後、選定された目標点群データに基づいて、スマート走行機器の走行中における認識待ちの対象(例えば、障害物であってもよい)に対する検出を実現することができ、検出結果に基づいて、レーダー装置が設けられているスマート走行機器の走行を制御することができる。
スマート走行機器の走行に対する制御は、スマート走行機器の加速、減速、転向、ブレーキなどに対する制御などであってもよい。
ステップ103において、可能な実施形態において、検出結果は、目標場面における認識待ちの対象の位置を含む。以下では、具体的な実施例を参照しながら、目標点群データの検出プロセスを詳しく説明する。図4に示すように、本願の実施例は、検出結果決定方法を提供する。該方法は、以下のステップを含む。
ステップ401において、前記目標点群データに対して格子化処理を行い、格子行列を得て、前記格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものである。ここで、目標点群データに対応する点を目標点と呼ぶ。
ステップ402において、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記認識待ちの対象に対応する疎行列を生成する。
ステップ403において、生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置を決定する。
本願の実施例において、目標点群データに対して、まず、格子化処理を行い、続いて、格子化処理によって得られた格子行列に対して疎行列化処理を行い、疎行列を生成することができる。ここでの格子化処理プロセスは、空間的に分布する、各目標点を含む目標点群データを所定の格子内にマッピングし、格子に対応する目標点に基づいて、格子符号化(0、1行列に対応する)を行うプロセスであってもよい。疎行列化処理プロセスは、目標場面における認識待ちの対象のサイズ情報に基づいて、上記0、1行列に対して膨張処理操作(0、1行列における1で示される要素を増加させる処理結果に対応する)又は収縮処理操作(0、1行列における1で示される要素を減少させる処理結果に対応する)を行うプロセスであってもよい。続いて、上記格子化処理プロセス及び疎行列化処理プロセスを更に説明する。
ここで、上記格子化処理プロセスにおいて、デカルト連続実数座標系に分布する目標点を格子化された離散的座標系に変換してもよい。
上記格子化処理プロセスを理解しやすくするために、以下、1つの例を参照しながら具体的に説明する。本願の実施例で、点A(0.32m,0.48m)、点B(0.6m,0.4801m)及び点C(2.1m,3.2m)などの目標点を有するとする。1mを格子幅として格子化処理を行い、(0m,0m)から(1m,1m)までの範囲は、1番目の格子に対応し、(0m,1m)から(1m,2m)までの範囲は、2番目の格子に対応し、このように類推する。格子化後のA’(0,0)、B’(0,0)はいずれも1行1列目の格子に位置し、C’(2,3)は、2行3列目の格子に位置してもよい。それにより、デカルト連続実数座標系から離散的座標系への変換を実現する。ここで、目標点に関わる座標情報は、参照基準点(例えば、点群データを収集するレーダー装置の所在位置)によって決定されてもよく、ここで、詳細な説明を省略する。
本願の実施例において、二次元格子化を行ってもよく、三次元格子化を行ってもよい。三次元格子化は、二次元格子化を基に高さ情報を追加したものである。続いて、二次元格子化を例として具体的に説明する。
二次元格子化について言えば、限られた空間をN*Mの格子に分割することができ、一般的には、等間隔分割を行い、間隔の大きさは、設定可能である。この場合、0、1行列(即ち、上記格子行列)を用いて、格子化後の目標点群データを符号化することができる。各格子は、一意的な行番号及び列番号で構成される座標で表されてもよい。該格子において、1つ以上の目標点が存在すると、該格子を1として符号化し、そうでなければ、0として符号化し、それにより符号化された0、1行列を得ることができる。
上記方法により格子行列を決定した後、目標場面の認識待ちの対象のサイズ情報に基づいて、上記格子行列における要素に対して疎行列化処理を行い、対応する疎行列を生成することができる。
ここで、認識待ちの対象のサイズ情報は、予め取得されたものであってもよい。ここで、目標点群データに同期して収集された画像データによって、認識待ちの対象のサイズ情報を決定することができる。具体的な適用シーンに基づいて、上記認識待ちの対象のサイズ情報を大まかなに推定することもできる。例えば、自動運転分野において、車両前方の物体は車両であってもよく、その汎用のサイズ情報が4m×4mであると決定することができる。これに加えて、本願の実施例は、他の方式によって、認識待ちの対象のサイズ情報を決定することもでき、本願の実施例は、これを具体的に限定しない。
本願の実施例において、疎行列化処理に関する操作は、格子行列における目標要素(即ち、対応する格子に目標点が存在する要素を表す)に対して少なくとも1回の膨張処理操作を行ってもよい。ここの膨張処理操作は、格子行列の座標範囲が目標場面における認識待ちの対象のサイズよりも小さい場合に行われてもよい。つまり、一回又は複数回の膨張処理操作により、対応する格子に目標点が存在することを表す要素範囲を少しずつ拡大し、拡大後の要素範囲を認識待ちの対象に合致させ、更に位置決定を実現する。これに加えて、本願の実施例における疎行列化処理操作は、格子行列における目標要素に対して少なくとも1回の収縮処理操作を行ってもよい。ここの収縮処理操作は、格子行列の座標範囲が目標場面における認識待ちの対象のサイズよりも大きい場合に行われてもよい。つまり、一回又は複数回の収縮処理操作により、対応する格子に目標点が存在することを表す要素範囲を少しずつ縮小し、縮小後の要素範囲を認識待ちの対象に合致させ、更に位置決定を実現する。
具体的な適用において、一回の膨張処理操作を行うか、複数回の膨張処理操作を行うか、一回の収縮処理操作を行うかそれとも複数回の収縮処理操作を行うかは、少なくとも1回のシフト処理及び論理演算処理を行うことで得られた疎行列の座標範囲の大きさと前記目標場面における認識待ちの対象のサイズとの差が所定の閾値範囲内にあるかどうかによって決まる。つまり、本願に用いられる膨張又は収縮処理操作は、認識待ちの対象のサイズ情報による制約に基づいて行われる。これにより、決定された疎行列で表される情報を認識待ちの対象の関連情報に更に適合させる。
膨張処理操作に基づいて実現される疎行列化処理であるか、それとも収縮処理操作に基づいて実現される疎行列化処理であるかに関わらず、その目的は、生成された疎行列がより正確な認識待ちの対象の関連情報を表すことができるようにすることであると理解されるべきである。
本願の実施例において、上記膨張処理操作は、シフト操作及び論理和操作に基づいて実現されるものであってもよく、反転を行った後に畳み込みを行い、畳み込みを行った後に更に反転を行うことによって実現されるものであってもよい。2つの操作に具体的に用いられる方法が異なるが、最終的に生成される疎行列の効果は、同じであってもよい。
なお、上記収縮処理操作は、シフト操作及び論理積操作に基づいて実現されるものであってもよく、直接的に畳み込み操作に基づいて実現されるものであってもよい。同様に、2つの操作に具体的に用いられる方法が異なるが、最終的に生成された疎行列の効果は同じであってもよい。
続いて、膨張処理操作を例として、図5A~図5Bに示す疎行列を生成する具体的な例の図を参照しながら、上記疎行列の生成プロセスを更に説明する。
図5Aは、格子化処理後に得られた格子行列(符号化前に対応する)を示す概略図である。該格子行列における各目標要素(充填効果を有する格子に対応する)に対して、8個の隣接領域の膨張操作を1回行い、対応する疎行列5Bを得ることができる。これから分かるように、本願の実施例は、5Aにおける対応する格子に目標点が存在する目標要素に対して、8個の隣接領域の膨張操作を行うことによって、各目標要素が膨張後に1つの要素集合となる。該要素集合に対応する格子幅は、認識待ちの対象のサイズに合致してもよい。
ここで、上記8個の隣接領域の膨張操作は、上記目標要素の横座標又は縦座標との差の絶対値がいずれも1以下である要素を決定するプロセスであってもよい。格子縁の要素以外に、1つの要素の隣接領域に一般的に8個の要素(上記要素集合に対応する)がある。図5Bに示すように、膨張処理の入力は、6個の目標要素の座標情報であってもよく、出力は、該目標要素の8個の隣接領域内の要素集合の座標情報であってもよい。
実際の適用において、上記8個の隣接領域の膨張操作を行うことができることに加えて、4個の隣接領域の膨操作、他の膨張操作を行うこともでき、後者及び他の膨張操作に対して、ここで具体的に限定しないことに留意されたい。これに加えて、本願の実施例は、複数回の膨張操作を行うこともできる。例えば、図5Bに示す膨張結果を基に、膨張操作を再び行い、より大きい要素集合範囲の疎行列を得る。ここで、詳細な説明を省略する。
本願の実施例において、生成された疎行列に基づいて、目標場面における認識待ちの対象の位置情報を決定することができる。本願の実施例は、下記二つの態様によって具体的に実現することができる。
第1態様において、ここで、格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、認識待ちの対象の位置範囲を決定することができ、具体的には下記ステップにより実現することができる。
ステップ1において、格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された疎行列における各目標要素に対応する目標点の座標情報を決定する。
ステップ2において、疎行列における各目標要素に対応する目標点の座標情報を組み合わせ、目標場面における認識待ちの対象の位置を決定する。
ここで、格子化処理に関わる上記関連記載から分かるように、格子行列における各目標要素は、複数の目標点に対応してもよい。このように、関連要素と複数の目標点に対応する目標点座標範囲情報は、予め決定されてもよい。ここで、依然として、N*M次元の格子行列を例として、目標点が存在する目標要素は、P個の目標点に対応してもよく、各点の座標は、(Xi,Yi)であり、iは、0からP-1に属し、Xi、Yiは、目標点の、格子行列における位置を表し、0≦Xi<N、0≦Yi<Mである。
このように、疎行列を生成した後、予め決定された上記各要素と各目標点座標範囲情報との対応関係に基づいて、該疎行列における各目標要素に対応する目標点の座標情報を決定することができる。つまり、逆格子化処理操作を行う。
疎行列は、格子行列における、対応する格子に目標点が存在することを表す要素に対して、疎行列化処理を行うことで得られたものであるため、ここで、疎行列における目標要素は、対応する格子に目標点が存在することを表す要素であってもよいことに留意されたい。
上記逆格子化処理プロセスを理解しやすくするために、続いて、1つの例を参照しながら、具体的に説明する。ここで、疎行列で指示される点A’(0,0)、点B’(0,0)が1行1列目の格子に位置し、点C’(2,3)が2行3列目の格子に位置することを例とする。逆格子化処理プロセスにおいて、1番目の格子(0,0)に対して、その中心を利用してデカルト座標系にマッピングした後に、(0.5m,0.5m)を得ることができる。2行3列目の格子(2,3)に対して、その中心を利用してデカルト座標系にマッピングした後に、(2.5m,3.5m)を得ることができ、即ち、(0.5m,0.5m)及び(2.5m,3.5m)を、マッピング後の座標情報と決定することができる。このように、マッピング後の座標情報を組み合わせることによって、目標場面における認識待ちの対象の位置を決定することができる。
本願の実施例は、上記疎行列と目標検出結果との近似関係に基づいて、認識待ちの対象の位置範囲の決定を実現することができるだけでなく、訓練された畳み込みニューラルネットワークに基づいて、認識待ちの対象の位置情報を決定することもできる。
第2態様において、本願の実施例は、まず、訓練された畳み込みニューラルネットワークに基づいて、生成された疎行列に対して少なくとも1回の畳み込み処理を行うことができ、続いて、畳み込み処理により得られた畳み込み結果に基づいて、認識待ちの対象の位置範囲を決定することができる。
畳み込みニューラルネットワークを利用して目標検出を実現する関連技術において、全ての入力データをトラバーサルして、入力点の隣接領域点を見付けて畳み込み演算を行い、最後に、全ての隣接領域点の集合を出力する必要があるが、本願の実施例が提供する方法において、疎行列における目標要素を迅速にトラバーサルするだけで、有効点の所在位置(即ち、0、1行列における1である要素)を見付けて畳み込み演算を行えばよい。それにより、畳み込みニューラルネットワークの演算プロセスを大幅に速くし、認識待ちの対象の位置範囲の決定効率を向上させる。
疎行列化処理操作が本願の実施例による点群データ処理方法に対して肝心な役割を果たすことを考慮して、以下、下記二つの態様によりそれぞれ説明する。
第1態様において、疎行列化処理操作が膨張処理操作である場合、本願の実施例は、シフト操作と論理演算により実現してもよく、反転した後に畳み込みを行い、畳み込みを行った後に更に反転を行うことにより実現してもよい。
その1において、本願の実施例では、少なくとも1回のシフト処理及び論理和演算に基づいて1回又は複数回の膨張処理操作を行うことができる。具体的な実現プロセスにおいて、具体的な膨張処理操作の回数は、目標場面における認識待ちの対象のサイズ情報によって決まってもよい。
ここで、初回の膨張処理操作において、対応する格子に目標点が存在することを表す目標要素に対して、複数の所定の方向のシフト処理を行い、対応する複数のシフト後の格子行列を得て、続いて、格子行列及び初回の膨張処理操作に対応する複数のシフト後の格子行列に対して論理和演算を行うことができ、それにより初回の膨張処理操作後の疎行列を得ることができる。ここで、得られた疎行列の座標範囲が認識待ちの対象のサイズよりも小さいかどうか、対応する差が十分に大きい(例えば、所定の閾値よりも大きい)かどうかを判定することができる。そうであれば、上記方法に応じて、初回の膨張処理操作後の疎行列における目標要素に対して複数の所定の方向のシフト処理又は論理和演算を行い、2回目の膨張処理操作後の疎行列を得ることができる。このように類推し、最後に得られた疎行列の座標範囲と目標場面における認識待ちの対象のサイズとの差が所定の閾値範囲に属すると判定した場合、疎行列を決定する。
何回目の膨張処理操作後に得られた疎行列であるかに関わらず、その本質も0、1行列である。膨張処理操作の回数の増加に伴い、得られた疎行列における、対応する格子に目標点が存在することを表す目標要素の数も増加し、且つ0、1行列のマッピングされる格子が幅情報を有するため、ここで、疎行列における各目標要素に対応する座標範囲を利用して、目標場面における認識待ちの対象のサイズに達するかどうかを検証することができ、それにより、後続の目標検出の適用の正確性を向上させる。
ここで、上記論理和演算は、下記ステップに応じて実現してもよい。
ステップ1において、複数のシフト後の格子行列から、1つのシフト後の格子行列を選択する。
ステップ2において、今回の膨張処理操作の前の格子行列と選択されたシフト後の格子行列に対して論理和演算を行い、演算結果を得る。
ステップ3において、シフト後の複数の格子行列から、演算に関与していない格子行列を選択することを繰り返し実施し、選択された格子行列と最近の1回の演算結果に対して論理和演算を行い、全ての格子行列を選択切れるまで継続して今回の膨張処理操作の後の疎行列を得る。
ここで、まず、複数のシフト後の格子行列から、1つのシフト後の格子行列を選択することができる。このように、今回の膨張処理操作の前の格子行列と選択されたシフト後の格子行列に対して論理和演算を行い、演算結果を得ることができる。ここで、複数のシフト後の格子行列から、演算に関与していない格子行列を選択し、論理和演算に関与させるステップを繰り返して実行し、全てのシフト後の格子行列の選択を完了するまで継続して、今回の膨張処理操作の後の疎行列を得ることができる。
本願の実施例における膨張処理操作は、目標要素を中心とした4個の隣接領域の膨張であってもよく、目標要素を中心とした8個の隣接領域の膨張であってもよく、他の隣接領域処理操作方式であってもよい。具体的な適用において、認識待ちの対象のサイズ情報に基づいて、対応する隣接領域処理操作方式を選択することができ、ここで、具体的に限定しない。
異なる隣接領域処理操作方式に対して、対応するシフト処理の所定の方向は異なることに留意されたい。4個の隣接領域の膨張操作を例として、格子行列に対して、4つの所定の方向に従ってそれぞれシフト処理を行うことができる。これらは、それぞれ左シフト、右シフト、上シフト及び下シフトである。8個の隣接領域の膨張操作を例として、格子行列に対して、4つの所定の方向に従ってそれぞれシフト処理を行うことができる。これらは、それぞれ左シフト、右シフト、上シフト、下シフト、左シフトを前提とした上シフトと下シフト、及び右シフトを前提とした上シフトと下シフトである。これに加えて、後続の論理和演算に適合させるために、複数のシフト方向に基づいてシフト後の格子行列を決定した後、まず、1回の論理和演算を行い、続いて、論理和演算結果に対して複数のシフト方向のシフト操作を行い、続いて、次回の論理和演算を行い、このように類推して、膨張処理後の疎行列を得るまで継続する。
上記膨張処理操作を理解しやすくするために、まず、図5Aに示す符号化前の格子行列を図5Cに示す符号化後の格子行列に変換し、続いて、図6A~図6Bを参照しながら、初回の膨張処理操作を例示的に説明する。
図5Cに示す格子行列は、0、1行列であり、行列における全ての「1」の位置は、目標要素が所在する格子を表すことができ、行列における全ての「0」は、背景を表すことができる。
本願の実施例において、まず、行列シフトを用いて、0、1行列における全ての要素値が1である要素の隣接領域を決定することができる。ここで、4つの所定の方向のシフト処理を定義することができる。これらは、左シフト、右シフト、上シフト及び下シフトである。ここで、図6Aに示すように、左シフトは、0、1行列における全ての要素値が1である要素に対応する列座標から1を減らすことである。右シフトは、0、1行列における全ての要素値が1である要素に対応する列座標に1を加えることである。上シフトは、0、1行列における全ての要素値が1である要素に対応する行座標から1を減らすことである。下シフトは、0、1行列における全ての要素値が1である要素に対応する行座標に1を加えることである。
次に、本願の実施例において、行列論理和操作を用いて全ての隣接領域の結果を統合することができる。行列論理和は、大きさが同じである2組の0、1行列入力を受けた場合、2組の行列における同一の位置の0、1に対して順に論理和操作を行い、得られた結果で、新たな0、1行列を構成して出力とする。図6Bは、1つの論理和演算の具体的な例を示す。
論理和操作を実現する具体的なプロセスにおいて、左シフト後の格子行列、右シフト後の格子行列、上シフト後の格子行列、下シフト後の格子行列を順に選択して論理和演算に関与させることができる。例えば、まず、格子行列と左シフト後の格子行列に対して論理和演算を行い、得られる演算結果と右シフト後の格子行列に対して論理和演算を行い、得られる演算結果と上シフト後の格子行列に対して論理和演算を行い、得られる演算結果と下シフト後の格子行列に対して論理和演算を行うことで、初回の膨張処理操作後の疎行列を得ることができる。
上記シフト後の格子行列の選択順は具体的な例だけであることに留意されたい。実際の適用において、他の方式によって選択することができる。シフト操作の対称性を考慮すると、ここで、上シフトと下シフトを選択してペアリングした後に、論理和演算を行い、左シフトと右シフトを選択してペアリングした後に、論理演算を行うことができる。2つの論理和演算を同期して行うことができ、演算時間を節約することができる。
その2において、本願の実施例では、畳み込みと2回の反転処理により、膨張処理操作を実現することができる。具体的には、下記ステップにより実現してもよい。
ステップ1において、現在の膨張処理操作の前の格子行列における要素に対して第1反転操作を行い、第1反転操作後の格子行列を得る。
ステップ2において、第1所定の畳み込みカーネルに基づいて、第1反転操作後の格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得て、所定の疎性は、目標場面における認識待ちの対象のサイズ情報によって決まる。
ステップ3において、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列における要素に対して、第2反転操作を行い、疎行列を得る。
本願の実施例は、反転を行った後に畳み込みを行い、畳み込みを行った後に更に反転を行うという操作によって膨張処理操作を行うことができ、得られた疎行列は、一定の程度で、認識待ちの対象の関連情報を表すこともできる。これに加えて、上記畳み込み操作と、後続で目標検出などの適用を行うために用いられる畳み込みニューラルネットワークと、を自動的に組み合わせることができることを考慮して、一定の程度で、検出効率を向上させることができる。
本願の実施例において、反転操作は、畳み込み演算に基づいて実現されてもよく、他の反転操作方式に基づいて実現されてもよい。後続で用いられるネットワーク(例えば、目標検出に用いられる畳み込みニューラルネットワーク)に適合するために、ここで、畳み込み演算を利用することで具体的に実現してもよい。続いて、上記第1反転操作を具体的に説明する。
ここで、第2所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における、目標要素以外の他の要素に対して、畳み込み演算を行い、第1反転要素を得ることができ、第2所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における目標要素に対して畳み込み演算を行い、第2反転要素を得ることもできる。上記第1反転要素及び第2反転要素に基づいて、第1反転操作後の格子行列を決定することができる。
第2反転操作の実現プロセスは、上記第1反転操作の実現プロセスを参照することができ、ここで、詳細な説明を省略する。
本願の実施例において、第1所定の畳み込みカーネルを利用して、第1反転操作後の格子行列に対して少なくとも1回の畳み込み演算を行うことによって、所定の疎性を有する格子行列を得ることができる。膨張処理操作は、格子行列における目標要素の数を増加させる手段とすることができ、対応的に、上記畳み込み演算は、格子行列における目標要素の数を減少させるプロセス(収縮処理操作に対応する)と見なすことができる。本願の実施例における畳み込み演算は、第1反転操作後の格子行列に対して行われるため、反転操作と収縮処理操作を行い、続いて反転操作を再び行うことによって、上記膨張処理操作に等価である等価操作を実現する。
ここで、初回の畳み込み演算に対して、第1反転操作後の格子行列と第1所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得る。初回の畳み込み演算後の格子行列の疎性が所定の疎性に達していないと判定した後、初回の畳み込み演算後の格子行列と第1所定の畳み込みカーネルに対して再び畳み込み演算を行い、2回目の畳み込み演算後の格子行列を得る。このように類推して、所定の疎性を有する格子行列を決定するまで継続する。
ここで、上記疎性は、格子行列における目標要素と非目標要素の割合分布によって決まってもよい。目標要素の割合が大きいほど、それが表す認識待ちの対象のサイズ情報が大きくなる。逆に、目標要素の割合が小さいほど、それが表す認識待ちの対象のサイズ情報が小さくなる。本願の実施例において、割合分布が所定の疎性に達した場合に、畳み込み演算を停止することができる。
本願の実施例における畳み込み演算は、1回であってもよく、複数回であってもよい。ここで、初回の畳み込み演算の具体的な演算プロセスを説明する。それは、下記ステップを含む。
ステップ1において、初回の畳み込み演算に対して、第1所定の畳み込みカーネルのサイズ及び所定のステップサイズに従って、第1反転操作後の格子行列から各格子サブ行列を選択する。
ステップ2において、選択された各格子サブ行列に対して、該格子サブ行列と重み行列に対して積演算を行い、第1演算結果を得て、第1演算結果とオフセット量に対して加算を行い、第2演算結果を得る。
ステップ3において、各格子サブ行列に対応する第2演算結果に基づいて、初回の畳み込み演算後の格子行列を決定する。
ここで、トラバーサル方式を用いて、第1反転操作後の格子行列に対してトラバーサルを行うことができる。このように、トラバーサルされた各格子サブ行列に対して、格子サブ行列と重み行列に対して積演算を行い、第1演算結果を得て、第1演算結果とオフセット量に対して加算を行い、第2演算結果を得ることができる。このように、各格子サブ行列に対応する第2演算結果を対応する行列要素に組み込むことによって、初回の畳み込み演算後の格子行列を得ることができる。
上記膨張処理操作を理解しやすくするために、ここで、依然として、図5Cに示す符号化後の格子行列を例として、図7Aから図7Bを参照しながら、膨張処理操作を例示的に説明する。
ここで、1つの1×1の畳み込みカーネル(即ち、第2所定の畳み込みカーネル)を利用して第1反転操作を実現することができる。該第2所定の畳み込みカーネルの重みは、-1であり、オフセット量は、1である。この場合、重みとオフセット量を{出力=入力された格子行列*重み+オフセット量}という畳み込み式に代入する。入力が格子行列における目標要素であり、その値が1であり、その場合、出力=1×-1+1=0である。入力が格子行列における非目標要素であり、その値が0である場合、出力=0*-1+1=1である。このように、1*1畳み込みカーネルを入力に作用することで、図7Aに示すように、0、1行列を反転して、要素値0を1に変更し、要素値1を0に変更することができる。
上記収縮処理操作に対して、具体的な適用において、1つの3*3畳み込みカーネル(即ち、第1所定の畳み込みカーネル)と1つの正規化線形関数(Rectified Linear Unit:ReLU)により実現してもよい。上記第1所定の畳み込みカーネル重み行列に含まれる各重みは、いずれも1であり、オフセット量は8である。このように、式{出力=ReLU(入力された第1反転操作後の格子行列×重み+オフセット量)}により、上記収縮処理操作を実現することができる。
ここで、入力された3×3の格子サブ行列内の全ての要素がいずれも1である場合のみ、出力=ReLU(9-8)=1である。そうでなければ、出力=ReLU(入力された格子行列×1-8)=0である。ここで、(入力された格子サブ行列×1-8)<0である。図7Bは、畳み込み演算後の格子行列を示す。
ここで、第2所定の畳み込みカーネルを有する1層の畳み込みネットワークをネスティングする度に、1回の収縮操作を加えることができる。それにより、固定の疎性を有する格子行列を得ることができる。更なる反転操作は、一回の膨張処理操作に等価であってもよく、それにより、疎行列の生成を実現することができる。
第2態様において、疎行列化処理操作が収縮処理操作である場合、本願の実施例は、シフト処理と論理演算により実現してもよく、畳み込み演算により実現してもよい。
その1において、本願の実施例では、少なくとも1回のシフト処理と論理積演算に基づいて、一回又は複数回の収縮処理操作を行うことができる。具体的な実現プロセスにおいて、具体的な収縮処理操作の回数は、目標場面における認識待ちの対象のサイズ情報によって決まってもよい。
第1態様における、シフト処理及び論理和演算に基づいて膨張処理を実現することと同様に、収縮処理操作を行うプロセスにおいて、まず、格子行列のシフト処理を行ってもよい。上記膨張処理と異なっており、ここの論理演算は、シフト後の格子行列に対して行われる論理積の演算であってもよい。シフト処理及び論理積演算に基づいて収縮処理操作を行うプロセスは、上記記述を参照することができ、ここで、詳細な説明を省略する。
同様に、本願の実施例における収縮処理操作は、目標要素を中心とした4隣接領域収縮であってもよく、目標要素を中心とした8個の隣接領域収縮であってもよく、他の領域処理操作方式であってもよい。具体的な適用において、認識待ちの対象のサイズ情報に基づいて、対応する領域処理操作方式を選択することができ、ここで、具体的に限定しない。
その2において、本願の実施例では、畳み込み処理により収縮処理操作を実現することができる。具体的には、下記ステップにより実現してもよい。
ステップ1において、第3所定の畳み込みカーネルに基づいて、格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得て、所定の疎性は、目標場面における認識待ちの対象のサイズ情報によって決まる。
ステップ2において、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を、認識待ちの対象に対応する疎行列として決定する。
上記畳み込み演算は、格子行列における目標要素の数を減少させるという収縮処理プロセスと見做されてもよい。ここで、初回の畳み込み演算に対して、格子行列と第1所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得る。初回の畳み込み演算後の格子行列の疎性が所定の疎性に達していないと判定した後、初回の畳み込み演算後の格子行列と第3所定の畳み込みカーネルに対して再び畳み込み演算を行い、2回目の畳み込み演算後の格子行列を得る。このように類推して、所定の疎性を有する格子行列を決定できるまで継続することによって、識別待ちの対象に対応する疎行列を得る。
本願の実施例における畳み込み演算は、1回であってもよく、複数回であってもよい。畳み込み演算に関わる具体的なプロセスは、上記第1態様における畳み込みと反転により膨張処理を実現するという関連説明を参照することができ、ここで、詳細な説明を省略する。
具体的な適用において、異なるデータ処理ビット幅の畳み込みニューラルネットワークを用いて疎行列の生成を実現することができることに留意されたい。例えば、4ビット(bit)で、ネットワークの入力、出力及び演算に用いられるパラメータ、例えば格子行列の要素値(0又は1)、重み、オフセット量などを表すことができる。これに加えて、8bitで表すことによって、ネットワーク処理のビット幅に適応し、演算効率を向上させることもできる。
上記方法によれば、目標場面に対応する有効感知範囲情報に基づいて、目標場面においてレーダー装置で収集された処理待ちの点群データに対して選定を行うことができ、選定された目標点群データが、目標場面における対応する有効点群データであるため、選定された目標点群データに基づいて、更に、目標場面で検出と演算を行うことによって、演算量を低減させ、演算効率及び目標場面におけるコンピューティングリソースの利用率を向上させることができる。
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの実際の実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
同一の技術的思想によれば、本願の実施例は、点群データ処理方法に対応する点群データ処理装置を更に提供する。本願の実施例における装置による課題を解決するための原理は、本願の実施例における上記点群データ処理方法と類似するため、装置の実施は、方法の実施を参照することができる。ここでは重複な説明を省略する。
図8を参照すると、図8は、本願の実施例による点群データ処理装置のアーキテクチャを示す概略図である。前記装置は、取得モジュール801と、選定モジュール802と、検出モジュール803と、を備え、ここで、
取得モジュール801は、レーダー装置によって目標場面で走査して得られた処理待ちの点群データを取得するように構成され、
選定モジュール802は、前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定するように構成され
検出モジュール803は、前記目標点群データに対して検出を行い、検出結果を得るように構成される。
可能な実施形態において、前記選定モジュール802は更に、
処理機器のコンピューティングリソース情報を取得し、
前記コンピューティングリソース情報に基づいて、前記コンピューティングリソース情報に合致する前記有効感知範囲情報を決定するという方式によって、前記目標場面に対応する有効感知範囲情報を決定するように構成される。
可能な実施形態において、前記選定モジュール802は、前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定する場合、
前記有効感知範囲情報に基づいて、有効座標範囲を決定し、
前記有効座標範囲に基づいて、前記処理待ちの点群データから、目標点群データを選定するように構成される。
可能な実施形態において、前記選定モジュール802は、前記有効感知範囲情報に基づいて、有効座標範囲を決定する場合、
前記有効感知範囲内における参考位置点の位置情報、及び前記目標場面における前記参考位置点の座標情報に基づいて、前記目標場面に対応する有効座標範囲を決定するように構成される。
可能な実施形態において、前記選定モジュール802は、前記有効座標範囲に基づいて、前記処理待ちの点群データから、目標点群データを選定する場合、
対応する座標情報が前記有効座標範囲内に位置するレーダー走査点を前記目標点群データにおけるレーダー走査点とするように構成される。
可能な実施形態において、前記選定モジュール802は更に、
前記レーダー装置が設けられているスマート走行機器の位置情報を取得し、
前記スマート走行機器の位置情報に基づいて、前記スマート走行機器が所在する道路の道路タイプを決定し、
前記道路タイプに合致する参考位置点の座標情報を取得するという方式によって、前記目標場面における前記参考位置点の座標情報を決定するように構成される。
可能な実施形態において、前記検出結果は、前記目標場面における認識待ちの対象の位置を含み、
前記検出モジュール803は、前記目標点群データに対して検出を行い、検出結果を得る場合、
前記目標点群データに対して格子化処理を行い、格子行列を得て、前記格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、
前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記認識待ちの対象に対応する疎行列を生成し、
生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置を決定するように構成される。
可能な実施形態において、前記検出モジュール803は、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記認識待ちの対象に対応する疎行列を生成する場合、
前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における目標要素に対して少なくとも1回の膨張処理操作又は収縮処理操作を行い、前記認識待ちの対象に対応する疎行列を生成するように構成され、
ここで、前記目標要素の値は、対応する格子に前記目標点が存在することを表す。
可能な実施形態において、前記検出モジュール803は、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における要素に対して少なくとも1回の膨張処理操作を行い、前記認識待ちの対象に対応する疎行列を生成する場合、前記格子行列における目標要素に対して少なくとも1回のシフト処理及び論理演算処理を行い、前記認識待ちの対象に対応する疎行列を得るように構成され、前記疎行列の座標範囲と前記目標場面における認識待ちの対象のサイズとの差は、所定の閾値範囲内にある。
可能な実施形態において、前記検出モジュール803は、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における要素に対して少なくとも1回の膨張処理操作を行い、前記認識待ちの対象に対応する疎行列を生成する場合、
今回の膨張処理操作の前の格子行列における要素に対して第1反転操作を行い、第1反転操作後の格子行列を得て、
第1所定の畳み込みカーネルに基づいて、前記第1反転操作後の格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得て、前記所定の疎性は、前記目標場面における認識待ちの対象のサイズ情報によって決まり、
前記少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列における要素に対して、第2反転操作を行い、前記疎行列を得るように構成される。
可能な実施形態において、前記検出モジュール803は、今回の膨張処理操作の前の格子行列における要素に対して第1反転操作を行い、第1反転操作後の格子行列を得る場合、
第2所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における、前記目標要素以外の他の要素に対して、畳み込み演算を行い、第1反転要素を得て、第2所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における目標要素に対して、畳み込み演算を行い、第2反転要素を得て、
前記第1反転要素及び前記第2反転要素に基づいて、第1反転操作後の格子行列を得るように構成される。
可能な実施形態において、前記検出モジュール803は、第1所定の畳み込みカーネルに基づいて、前記第1反転操作後の格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得る場合、
初回の畳み込み演算に対して、前記第1反転操作後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得て、
前回の畳み込み演算後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、今回の畳み込み演算の後の格子行列を得るステップを繰り返して実行し、所定の疎性を有する格子行列を得るまで継続するように構成される。
可能な実施形態において、前記検出モジュール803は、前記第1所定の畳み込みカーネルが、重み行列と、該重み行列に対応するオフセット量と、を有し、初回の畳み込み演算に対して、前記第1反転操作後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得る場合、
初回の畳み込み演算に対して、第1所定の畳み込みカーネルのサイズ及び所定のステップサイズに従って、前記第1反転操作後の格子行列から各格子サブ行列を選択し、
選択された各前記格子サブ行列に対して、該格子サブ行列と前記重み行列に対して積演算を行い、第1演算結果を得て、前記第1演算結果と前記オフセット量に対して加算を行い、第2演算結果を得て、
各前記格子サブ行列に対応する第2演算結果に基づいて、初回の畳み込み演算後の格子行列を決定するように構成される。
可能な実施形態において、前記検出モジュール803は、前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における要素に対して、少なくとも1回の収縮処理操作を行い、前記認識待ちの対象に対応する疎行列を生成する場合、
第3所定の畳み込みカーネルに基づいて、処理待ちの格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得て、前記所定の疎性は、前記目標場面における認識待ちの対象のサイズ情報によって決まり、
前記少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を、前記認識待ちの対象に対応する疎行列として決定するように構成される。
可能な実施形態において、前記検出モジュール803は、前記目標点群データに対して格子化処理を行い、格子行列を得る場合、
前記目標点群データに対して格子化処理を行い、格子行列、該格子行列における各要素と各目標点座標範囲情報との対応関係を得るように構成される。
前記検出モジュール803は、生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置範囲を決定する場合、
前記格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された前記疎行列における各目標要素に対応する目標点の座標情報を決定し、
前記疎行列における各前記目標要素に対応する目標点の座標情報を組み合わせ、前記目標場面における前記認識待ちの対象の位置を決定するように構成される。
可能な実施形態において、前記検出モジュール803は、生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置を決定する場合、
訓練された畳み込みニューラルネットワークに基づいて、生成された前記疎行列における各目標要素に対して、少なくとも1回の畳み込み処理を行い、畳み込み結果を得て、
前記畳み込み結果に基づいて、前記目標場面における前記認識待ちの対象の位置を決定するように構成される。
可能な実施形態において、前記装置は、前記目標点群データに対して検出を行い、検出結果を得た後、前記検出結果に基づいて、前記レーダー装置が設けられているスマート走行機器を制御するように構成される制御モジュール804を更に備える。
上記装置によれば、目標場面に対応する有効感知範囲情報に基づいて、目標場面においてレーダー装置で収集された処理待ちの点群データに対して選定を行うことができ、選定された目標点群データが、目標場面における対応する目標点群データであるため、選定された点群データに基づいて、更に、目標場面で検出と演算を行うことによって、演算量を低減させ、演算効率及び目標場面におけるコンピューティングリソースの利用率を向上させることができる。
装置における各モジュールの処理プロセス、及び各モジュール間のインタラクションプロセスに関する記述は、上記方法の実施例における関連説明を参照してもよく、ここで詳細な説明を省略する。
同一の技術的構想によれば、図9に示すように、本願の実施例は、コンピュータ機器を更に提供する。前記コンピュータ機器は、プロセッサ901と、メモリ902と、バス903と、を備え、メモリ902は、実行命令を記憶するための、内部メモリ9021及び外部メモリ9022を含み、ここの内部メモリ9021は内メモリとも呼ばれ、プロセッサ901における演算データ、及びハードディスクなどの外部メモリ9022との交換データを一時的に記憶するように構成され、プロセッサ901は、内部メモリ9021を介して外部メモリ9022とデータ交換を行い、コンピュータ機器900が運転する場合、プロセッサ901とメモリ902は、バス903を介して通信し、プロセッサ901に、
レーダー装置によって目標場面で走査して得られた処理待ちの点群データを取得し、
前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定し、
前記目標点群データに対して検出を行い、検出結果を得るという命令を実行させる。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体に記憶されているコンピュータプログラムがプロセッサにより実行される場合、上記方法の実施例に記載の点群データ処理方法を実行する。ここで、該記憶媒体は、揮発性又は不揮発性コンピュータ可読記憶媒体であってもよい。
本願の実施例が提供する点群データ処理方法のコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記方法の実施例に記載の点群データ処理方法を実行するように構成され、具体的には、上記方法の実施例を参照することができる。ここで、詳細な説明を省略する。
本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムは、プロセッサにより実行される時、前記実施例のいずれか1つの方法を実現する。該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。1つの選択可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現化され、もう1つの選択可能な実施例において、コンピュータプログラム製品は、具体的には、例えば、ソフトウェア開発キット(Software Development Kit:SDK)等のようなソフトウェア製品として具現化される。
説明上の便宜及び簡素化を図るために、上記説明されたシステム及び装置の具体的な作動過程は、前記方法の実施例における対応した過程を参照することができることは、当業者にはっきり理解されるべきである。本発明で提供する幾つかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した装置の実施例はただ例示的なものであり、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した前記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてここでの一部又は全てのユニットにより本実施例の提案の目的を実現することができる。
また、本願の各実施例における各機能ユニットは1つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、2つ又は2つ以上のユニットが1つのユニットに集積されてもよい。
前記機能はソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、プロセッサによる実行可能な不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現化することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、1台のコンピュータ機器(パソコン、サーバ、又はネットワーク機器など)に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。上述した記憶媒体は、USBメモリ、リムーバブルハードディスク、読み出し専用メモリ(Read-Only Memory:ROM)、ランダムアクセスメモリ(Random Access Memory:RAM)、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
最後に説明しておきたいこととして、上記実施例は本願の具体的な実施形態に過ぎず、本願の技術的解決手段を説明するためのものであり、これを限定するものではなく、本願の保護範囲はこれに制限されるものではない。前記実施例を参照しながら、本願を詳細に説明したが、本技術分野を周知するいかなる当業者であれば、本願で開示された技術的範囲内で、前記実施例に記載の技術的解決手段に対して修正を行うことができるか又は変更を容易に思いつくことができ、又は一部の技術的特徴に対して均等物による置換を行うこともでき、これらの修正、変更又は置換は、対応する技術的解決手段の本質を本願の実施例の技術的解決手段の精神及び範囲から離脱させるものではなく、本願の保護範囲内に含まれるものとすることは、理解すべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

Claims (20)

  1. 点群データ処理方法であって、
    レーダー装置によって目標場面で走査して得られた処理待ちの点群データを取得することと、
    前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定することと、
    前記目標点群データに対して検出を行い、検出結果を得ることと、を含む、点群データ処理方法。
  2. 前記目標場面に対応する前記有効感知範囲情報は、
    前記目標場面において前記処理待ちの点群データを処理する処理機器のコンピューティングリソース情報を取得し、
    前記コンピューティングリソース情報に基づいて、前記コンピューティングリソース情報に合致する前記有効感知範囲情報を決定する、
    という方式によって、決定されることを特徴とする
    請求項1に記載の方法。
  3. 前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定することは、
    前記有効感知範囲情報に基づいて、有効座標範囲を決定することと、
    前記有効座標範囲に基づいて、前記処理待ちの点群データから、目標点群データを選定することを含むことを特徴とする
    請求項1又は2に記載の方法。
  4. 前記有効感知範囲情報に基づいて、有効座標範囲を決定することは、
    前記有効感知範囲内における参考位置点の位置情報、及び前記目標場面における前記参考位置点の座標情報に基づいて、前記目標場面に対応する有効座標範囲を決定することを含むことを特徴とする
    請求項3に記載の方法。
  5. 前記有効座標範囲に基づいて、前記処理待ちの点群データから、目標点群データを選定することは、
    前記処理待ちの点群データにおける座標情報が前記有効座標範囲内に位置する各レーダー走査点を前記目標点群データにおけるレーダー走査点とすることを含むことを特徴とする
    請求項3に記載の方法。
  6. 目標場面における前記参考位置点の座標情報は、
    前記レーダー装置が設けられているスマート走行機器の位置情報を取得し、
    前記スマート走行機器の位置情報に基づいて、前記スマート走行機器が所在する道路の道路タイプを決定し、
    前記道路タイプに合致する参考位置点の座標情報を前記目標場面における前記参考位置点の座標情報として取得する、
    という方式によって、決定されることを特徴とする
    請求項4に記載の方法。
  7. 前記検出結果は、前記目標場面における認識待ちの対象の位置を含み、前記目標点群データに対して検出を行い、検出結果を得ることは、
    前記目標点群データに対して格子化処理を行い、格子行列を得ることであって、前記格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものである、ことと、
    前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記認識待ちの対象に対応する疎行列を生成することと、
    生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置を決定することと、を含むことを特徴とする
    請求項1に記載の方法。
  8. 前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記認識待ちの対象に対応する疎行列を生成することは、
    前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における目標要素に対して少なくとも1回の膨張処理操作又は収縮処理操作を行い、前記認識待ちの対象に対応する疎行列を生成することを含み、
    ここで、前記目標要素の値は、対応する格子に前記目標点が存在することを表すことを特徴とする
    請求項7に記載の方法。
  9. 前記膨張処理操作又は収縮処理操作は、シフト処理及び論理演算処理を含み、
    前記疎行列の座標範囲と前記認識待ちの対象のサイズとの差は、所定の閾値範囲内にあることを特徴とする
    請求項8に記載の方法。
  10. 前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における要素に対して少なくとも1回の膨張処理操作を行い、前記認識待ちの対象に対応する疎行列を生成することは、
    今回の膨張処理操作の前の格子行列における要素に対して第1反転操作を行い、第1反転操作後の格子行列を得ることと、
    第1所定の畳み込みカーネルに基づいて、前記第1反転操作後の格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得ることと、
    前記少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列における要素に対して、第2反転操作を行い、前記疎行列を得ることと、を含むことを特徴とする
    請求項8に記載の方法。
  11. 今回の膨張処理操作の前の格子行列における要素に対して第1反転操作を行い、第1反転操作後の格子行列を得ることは、
    第2所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における、前記目標要素以外の他の要素に対して、畳み込み演算を行い、第1反転要素を得ることと、
    第2所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における目標要素に対して、畳み込み演算を行い、第2反転要素を得ることと、
    前記第1反転要素及び前記第2反転要素に基づいて、第1反転操作後の格子行列を得ることと、を含むことを特徴とする
    請求項10に記載の方法。
  12. 第1所定の畳み込みカーネルに基づいて、前記第1反転操作後の格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得ることは、
    初回の畳み込み演算に対して、前記第1反転操作後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得ることと、
    前回の畳み込み演算後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、今回の畳み込み演算の後の格子行列を得ることを繰り返して実行し、前記所定の疎性を有する格子行列を得るまで継続することと、を含むことを特徴とする
    請求項10又は11に記載の方法。
  13. 前記第1所定の畳み込みカーネルは、重み行列と、前記重み行列に対応するオフセット量と、を有し、初回の畳み込み演算に対して、前記第1反転操作後の格子行列と前記第1所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得ることは、
    初回の畳み込み演算に対して、第1所定の畳み込みカーネルのサイズ及び所定のステップサイズに従って、前記第1反転操作後の格子行列から各格子サブ行列を選択することと、
    選択された各前記格子サブ行列に対して、該格子サブ行列と前記重み行列に対して積演算を行い、第1演算結果を得ることと、
    前記第1演算結果と前記オフセット量に対して加算を行い、第2演算結果を得ることと、
    各前記格子サブ行列に対応する第2演算結果に基づいて、初回の畳み込み演算後の格子行列を決定することと、を含むことを特徴とする
    請求項12に記載の方法。
  14. 前記格子行列及び前記目標場面における認識待ちの対象のサイズ情報に基づいて、前記格子行列における要素に対して、少なくとも1回の収縮処理操作を行い、前記認識待ちの対象に対応する疎行列を生成することは、
    第3所定の畳み込みカーネルに基づいて、処理待ちの格子行列に対して少なくとも1回の畳み込み演算を行い、少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を得ることと、
    前記少なくとも1回の畳み込み演算後の、所定の疎性を有する格子行列を、前記認識待ちの対象に対応する疎行列として決定することと、を含むことを特徴とする
    請求項8に記載の方法。
  15. 前記目標点群データに対して格子化処理を行い、格子行列を得ることは、
    前記目標点群データに対して格子化処理を行い、格子行列、該格子行列における各要素と各目標点座標範囲情報との対応関係を得ることを含み、
    生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置範囲を決定することは、
    前記格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された前記疎行列における各目標要素に対応する目標点の座標情報を決定することと、
    前記疎行列における各前記目標要素に対応する目標点の座標情報を組み合わせ、前記目標場面における前記認識待ちの対象の位置を決定することと、を含むことを特徴とする
    請求項7~14のうちいずれか一項に記載の方法。
  16. 生成された前記疎行列に基づいて、前記目標場面における前記認識待ちの対象の位置を決定することは、
    訓練された畳み込みニューラルネットワークに基づいて、生成された前記疎行列における各目標要素に対して、少なくとも1回の畳み込み処理を行い、畳み込み結果を得ることと、
    前記畳み込み結果に基づいて、前記目標場面における前記認識待ちの対象の位置を決定することと、を含むことを特徴とする
    請求項7~15のうちいずれか一項に記載の方法。
  17. 前記目標点群データに対して検出を行い、検出結果を得た後、前記方法は、
    前記検出結果に基づいて、前記レーダー装置が設けられているスマート走行機器を制御することを更に含むことを特徴とする
    請求項1~16のうちいずれか一項に記載の方法。
  18. 点群データ処理装置であって、
    レーダー装置によって目標場面で走査して得られた処理待ちの点群データを取得するように構成される取得モジュールと、
    前記目標場面に対応する有効感知範囲情報に基づいて、前記処理待ちの点群データから、目標点群データを選定するように構成される選定モジュールと、
    前記目標点群データに対して検出を行い、検出結果を得るように構成される検出モジュールと、を備える、点群データ処理装置。
  19. コンピュータ機器であって、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、コンピュータ機器が動作する時に、前記プロセッサと前記メモリとは、バスを介して通信し、前記機器可読命令は、前記プロセッサにより実行される時に、前記プロセッサに請求項1~17のうちいずれか一項に記載の点群データ処理方法を実行させる、コンピュータ機器。
  20. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される場合、前記プロセッサに、請求項1~17のうちいずれか一項に記載の点群データ処理方法を実行させる、コンピュータ可読記憶媒体。
JP2022514581A 2020-07-22 2021-06-28 点群データ処理方法及び装置 Withdrawn JP2022547873A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010713989.6A CN113971694A (zh) 2020-07-22 2020-07-22 一种点云数据处理方法及装置
CN202010713989.6 2020-07-22
PCT/CN2021/102856 WO2022017133A1 (zh) 2020-07-22 2021-06-28 一种点云数据处理方法及装置

Publications (1)

Publication Number Publication Date
JP2022547873A true JP2022547873A (ja) 2022-11-16

Family

ID=79585066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022514581A Withdrawn JP2022547873A (ja) 2020-07-22 2021-06-28 点群データ処理方法及び装置

Country Status (4)

Country Link
JP (1) JP2022547873A (ja)
KR (1) KR20220044777A (ja)
CN (1) CN113971694A (ja)
WO (1) WO2022017133A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114664092B (zh) * 2022-05-18 2022-10-04 阿里巴巴达摩院(杭州)科技有限公司 交通事件检测系统、事件检测方法以及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274508B2 (en) * 2011-02-14 2012-09-25 Mitsubishi Electric Research Laboratories, Inc. Method for representing objects with concentric ring signature descriptors for detecting 3D objects in range images
CN106570454B (zh) * 2016-10-10 2019-06-11 同济大学 基于移动激光扫描的行人交通参数提取方法
CN109840448A (zh) * 2017-11-24 2019-06-04 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的信息输出方法和装置
CN109649395B (zh) * 2018-12-29 2023-12-01 驭势科技(北京)有限公司 一种基于计算资源的自动驾驶调整方法及车载设备

Also Published As

Publication number Publication date
CN113971694A (zh) 2022-01-25
KR20220044777A (ko) 2022-04-11
WO2022017133A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
JP6949266B2 (ja) 対象三次元検出及びスマート運転制御方法、装置、媒体並びに機器
WO2020134082A1 (zh) 一种路径规划方法、装置和移动设备
Homm et al. Efficient occupancy grid computation on the GPU with lidar and radar for road boundary detection
US20150109290A1 (en) Device and method for removing noise points in point clouds
WO2022016942A1 (zh) 一种目标检测方法、装置、电子设备及存储介质
CN105469445B (zh) 一种步长可变地图生成方法
CN106960470B (zh) 三维点云曲面重建方法及装置
KR20110049644A (ko) 영상 처리를 위한 정렬 격자 및 그래프 운행
Zhao et al. Sspu-net: Self-supervised point cloud upsampling via differentiable rendering
Tao et al. Stereo priori RCNN based car detection on point level for autonomous driving
Fan et al. Real-time implementation of stereo vision based on optimised normalised cross-correlation and propagated search range on a gpu
JP2019159940A (ja) 点群特徴抽出装置、点群特徴抽出方法及びプログラム
CN111047682B (zh) 一种三维车道模型生成方法及系统
CN114140758A (zh) 一种目标检测方法、装置及计算机设备
JP2022547873A (ja) 点群データ処理方法及び装置
Han et al. DiLO: Direct light detection and ranging odometry based on spherical range images for autonomous driving
Cao et al. Fast incremental structure from motion based on parallel bundle adjustment
CN111768353B (zh) 一种三维模型的孔洞填补方法及装置
CN113436223A (zh) 点云数据的分割方法、装置、计算机设备和存储介质
US11657530B2 (en) Stereo matching method and apparatus of images
Yaghouti et al. Determining optimal value of the shape parameter $ c $ in RBF for unequal distances topographical points by Cross-Validation algorithm
CN109754449B (zh) 一种二维网格图形的三角化确定方法
CN111382834B (zh) 一种置信度比较方法及装置
Han et al. Scalable point cloud meshing for image-based large-scale 3D modeling
JP2022546828A (ja) 点群データ処理方法、装置、電子機器及び記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230214