JP2022546828A - 点群データ処理方法、装置、電子機器及び記憶媒体 - Google Patents

Abstract

本願は、イントクラウドデータ処理方法、装置、電子機器及び記憶媒体を提供する。ここで、該処理方法は、取得された目標場面における点群データに対して格子化処理を行い、格子行列を得ることであって、格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、前記目標点は、前記点群データに対応するいずれか１つの点を表す、ことと、前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記認識待ち対象に対応する疎行列を生成することと、生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定することと、を含む。

Description

（関連出願の相互参照）
本願は、２０２０年７月２２日に提出された、出願番号が２０２０１０７１２６７４．Ｘであり、発明名称が「点群データ処理方法、装置、電子機器及び記憶媒体」である中国特許出願に基づく優先権を主張し、該出願が参照として本願に組み込まれる。

本願は、点群データ処理技術分野に関し、具体的には、点群データ処理方法、装置、電子機器及び記憶媒体に関する。

レーザーレーダー技術の継続的な進歩に伴い、レーザーレーダーによって収集される点群データが目標物体の正確な位置情報を含むため、レーザーレーダーを用いて点群データを収集することは、例えば、目標検出、三次元再構築、自動運転などの各分野に広く用いられている。点群データが疎なデータであるため、一般的には、上記適用を実現するために、収集された点群データに対して処理を行う必要がある。適用を容易にするために、関連技術における点群処理の提案は、異なる適用環境に対して異なるプログラミング言語を用いて、カスタマイズした設計を行う必要があり、これは、大量の人件費及び物的資源を要する。

本願の実施例は少なくとも、点群データ処理方法、装置、電子機器及び記憶媒体を提供する。これは、格子化処理及びサイズ情報により拘束される疎行列化処理によって疎行列の自動生成を実現し、生成された疎行列に基づいて、場面への適用を実現し、時間と労力を節約する。主に以下のいくつかの態様を含む。

第１態様によれば、本願の実施例は、点群データ処理方法を提供する。前記方法は、目標場面に対応する点群データを取得することと、取得された前記点群データに対して格子化処理を行い、格子行列を得ることであって、前記格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、前記目標点は、前記点群データに対応するいずれか１つの点を表す、ことと、前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記認識待ち対象に対応する疎行列を生成することと、生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定することと、を含む。

上記点群データ処理方法を用いることによって、目標場面に対応する点群データを取得した場合、まず、該点群データに対して格子化処理を行い、格子行列を得ることができ、該格子行列における要素の値は、対応する格子に目標点が存在するかどうかを表すことができる。このように、目標場面における認識待ち対象のサイズ情報に基づいて、格子行列における、対応する格子に目標点が存在することを表す要素に対して処理を行い、認識待ち対象に対応する疎行列を生成することができ、それにより生成された疎行列に基づいて、目標場面における認識待ち対象の位置を決定する。

一実施形態において、前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記認識待ち対象に対応する疎行列を生成することは、前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記格子行列における目標要素に対して少なくとも１回の膨張処理操作又は収縮処理操作を行い、前記認識待ち対象に対応する疎行列を生成することを含み、ここで、前記目標要素の値は、対応する格子に前記目標点が存在することを表す。

一実施形態において、前記膨張処理操作又は収縮処理操作は、シフト処理及び論理演算処理を含み、前記疎行列の座標範囲と前記認識待ち対象のサイズとの差は、所定の閾値範囲内にある。

一実施形態において、前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記格子行列における要素に対して少なくとも１回の膨張処理操作を行い、前記認識待ち対象に対応する疎行列を生成することは、今回の膨張処理操作の前の格子行列における要素に対して第１反転操作を行い、第１反転操作後の格子行列を得ることと、第１所定の畳み込みカーネルに基づいて、前記第１反転操作後の格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得ることであって、前記所定の疎性は、前記目標場面における認識待ち対象のサイズ情報によって決まる、ことと、前記少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列における要素に対して、第２反転操作を行い、前記疎行列を得ることと、を含む。

一実施形態において、今回の膨張処理操作の前の格子行列における要素に対して第１反転操作を行い、第１反転操作後の格子行列を得ることは、第２所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における、前記目標要素以外の他の要素に対して、畳み込み演算を行い、第１反転要素を得ることと、第２所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における目標要素に対して、畳み込み演算を行い、第２反転要素を得ることと、前記第１反転要素及び前記第２反転要素に基づいて、第１反転操作後の格子行列を得ることと、を含む。

一実施形態において、第１所定の畳み込みカーネルに基づいて、前記第１反転操作後の格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得ることは、初回の畳み込み演算に対して、前記第１反転操作後の格子行列と前記第１所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得ることと、前回の畳み込み演算の後の格子行列と前記第１所定の畳み込みカーネルに対して畳み込み演算を行い、今回の畳み込み演算の後の格子行列を得ることを繰り返して実行し、前記所定の疎性を有する格子行列を得るまで継続することと、を含む。

ここで、初回の畳み込み演算に対して、第１反転操作後の格子行列と第１所定の畳み込みカーネルとの畳み込み演算に基づいて、初回の畳み込み演算後の格子行列を得ることができ、続いて、初回の畳み込み演算後の格子行列と第１所定の畳み込みカーネルに基づいて畳み込み演算を行い、２回目の畳み込み演算後の格子行列を得ることができ、このように類推して、所定の疎性を有する格子行列を得るまで継続する。

一実施形態において、前記第１所定の畳み込みカーネルは、重み行列と、該重み行列に対応するオフセット量と、を有し、初回の畳み込み演算に対して、前記第１反転操作後の格子行列と前記第１所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得ることは、初回の畳み込み演算に対して、第１所定の畳み込みカーネルのサイズ及び所定のステップサイズに従って、前記第１反転操作後の格子行列から各格子サブ行列を選択することと、選択された各前記格子サブ行列に対して、該格子サブ行列と前記重み行列に対して畳み込み演算を行い、第１演算結果を得て、前記第１演算結果と前記オフセット量に対して加算演算を行い、第２演算結果を得ることを実行することと、各前記格子サブ行列に対応する第２演算結果に基づいて、初回の畳み込み演算後の格子行列を決定することと、を含む。

一実施形態において、前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記格子行列における要素に対して、少なくとも１回の収縮処理操作を行い、前記認識待ち対象に対応する疎行列を生成することは、第３所定の畳み込みカーネルに基づいて、格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得ることであって、前記所定の疎性は、前記目標場面における認識待ち対象のサイズ情報によって決まる、ことと、前記少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を、前記認識待ち対象に対応する疎行列と決定することと、を含む。

一実施形態において、取得された前記点群データに対して格子化処理を行い、格子行列を得ることは、取得された前記点群データに対して格子化処理を行い、格子行列及び該格子行列における各要素と各目標点座標範囲情報との対応関係を得ることを含み、生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定することは、前記格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された前記疎行列における各目標要素に対応する目標点の座標情報を決定することと、前記疎行列における各前記目標要素に対応する目標点の座標情報を組み合わせ、前記目標場面における前記認識待ち対象の位置を決定することと、を含む。

ここで、格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された疎行列における目標要素の座標情報を決定し、更に、座標情報の組み合わせに基づいて、疎行列における認識待ち対象の座標範囲を決定し、続いて、疎行列が所在する座標系と物理座標系との変換関係に基づいて、目標場面における認識待ち対象の位置を決定することができる。

一実施形態において、生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定することは、訓練済みの畳み込みニューラルネットワークに基づいて、生成された前記疎行列における各目標要素に対して、少なくとも１回の畳み込み処理を行い、畳み込み結果を得ることと、前記畳み込み結果に基づいて、前記目標場面における前記認識待ち対象の位置を決定することと、を含む。

ここで、訓練済みの畳み込みニューラルネットワークに基づいて、生成された疎行列に対して畳み込み処理を行い、処理により得られた畳み込み結果によって、目標場面における認識待ち対象の位置を決定することができる。畳み込み処理を行うプロセスにおいて、疎行列における、対応する格子に目標点が存在する目標要素のみに対して畳み込み操作を行うことによって、一定の程度で畳み込み演算量を低減させ、目標検出の効率を向上させる。

第２態様によれば、本願の実施例は、点群データ処理装置を更に提供する。前記装置は、目標場面に対応する点群データを取得するように構成される取得モジュールと、取得された前記点群データに対して格子化処理を行い、格子行列を得るように構成される処理モジュールであって、前記格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、前記目標点は、前記点群データに対応するいずれか１つの点を表す、処理モジュールと、前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記認識待ち対象に対応する疎行列を生成するように生成モジュールと、生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定するように構成される決定モジュールと、を備える。

第３態様によれば、本願の実施例は、電子機器を更に提供する。前記電子機器は、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリとは、バスを介して通信し、前記機器可読命令が前記プロセッサにより実行される場合、第１態様及びその各実施形態のいずれか１つに記載の点群データ処理方法のステップを実行する。

第４態様によれば、本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される場合、第１態様及びその各実施形態のいずれか１つに記載の点群データ処理方法のステップを実行する。

上記点群データ処理装置、電子機器及びコンピュータ可読記憶媒体の効果に関する記述は、上記点群データ処理方法の説明を参照し、ここで、詳細な説明を省略する。

本願の上記目的、特徴及び利点をより明確かつ分かりやすくするために、以下、好適な実施例を挙げて、添付図面を参照しながら、以下のように、詳しく説明する。

本願の実施例１による点群データ処理方法を示すフローチャートである。 本願の実施例１による符号化前の格子行列を示す概略図である。 本願の実施例１による疎行列を示す概略図である。 本願の実施例１による符号化後の格子行列を示す概略図である。 本願の実施例１による左シフトした格子行列を示す概略図である。 本願の実施例１による論理和演算を示す概略図である。 本願の実施例１による第１反転操作後の格子行列を示す概略図である。 本願の実施例１による畳み込み演算後の格子行列を示す概略図である。 本願の実施例２による点群データ処理装置を示す概略図である。 本願の実施例３による電子機器を示す概略図である。

本願の実施例の技術的解決手段をより明確に説明するために、以下、実施例に必要な図面を簡単に説明する。ここで添付した図面は、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。下記図面は、本願の幾つかの実施形態のみを図示しており、範囲を制限するものではないことが理解されるべきである。当業者は、創造的労働を行うことなく、これらの図面に基づいてその他の関連する図面を得ることもできる。

本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段をを明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本出願の一部の実施例である。一般的には、図面に説明されて示されている本願の実施例のコンポーネントは、多岐にわたる異なる構成で配置及び設計することができる。従って、以下では、図面を参照しながら提供される本願の実施例の下記詳細な説明は、特許請求されている本願の範囲を限定するものではなく、本願の選択された実施例を示すためのものに過ぎない。本願の実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。

検討によれば、関連技術における点群処理の提案は、異なる適用環境に対して異なるプログラミング言語を用いて、カスタマイズした設計を行う必要があり、これは、大量の人件費及び物的資源を要することが明らかである。

上記検討によれば、本願は少なくとも、点群データ処理方法を提供し、格子化処理、及びサイズ情報により拘束される疎行列化処理によって疎行列の自動生成を実現し、生成された疎行列に基づいて、場面への適用を実現し、時間と労力を節約する。

上記従来技術における提案に存在する欠陥はいずれも、発明者らが実践及び鋭意検討した後に得られた結果である。従って、上記問題点の発見過程及び下記記載における本願が上記問題点に対して提出する解決手段は、いずれも発明者らが開示中に本願に与える貢献であるはずである。

下記図面において、類似した符号及び文字は、類似した要素を表すため、１つの要素が１つの図面において定義されると、後続の図面において、これに対して定義及び説明を行う必要がないことに留意されたい。

本実施例を理解しやすくするために、まず、本願の実施例が開示する点群データ処理方法を詳しく説明する。本願の実施例が提供する点群データ処理方法の実行主体は、一般的には、一定のコンピューティング能力を持つ電子機器である。該電子機器は、例えば、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラー電話、コードレス電話機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。幾つかの可能な実現形態において、該点群データ処理方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。

以下では、本願の実施例による点群データ処理方法を説明する。

実施例１
図１に示すように、本願の実施例は、点群データ処理方法を提供する。該方法は、ステップ１０１～ステップ１０４を含み、ここで、
Ｓ１０１において、目標場面に対応する点群データを取得する。

Ｓ１０２において、取得された点群データに対して格子化処理を行い、格子行列を得て、格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、目標点は、点群データに対応するいずれか１つの点を表す。

Ｓ１０３において、格子行列及び目標場面における認識待ち対象のサイズ情報に基づいて、認識待ち対象に対応する疎行列を生成する。

Ｓ１０４において、生成された疎行列に基づいて、目標場面における認識待ち対象の位置を決定する。

ここで、本願の実施例による点群データ処理方法を理解しやすくするために、以下では、まず、該処理方法の具体的な適用場面を詳しく説明する。本願の実施例による点群データ処理方法は主に、目標検出、三次元目標再構築などの分野に用いることができる。ここで、目標検出を例として例示的に説明する。関連技術において、目標対象に関する位置などの情報を決定するために、適用場面に関連するデータ情報（例えば、点群データ）を取得した後、予め訓練済みの畳み込みニューラルネットワークに基づいて、目標検出を実現することができる。ここで、畳み込みニューラルネットワークに依存して目標検出を行うプロセスにおいて、点群データに対応する各目標点に対して畳み込み操作を行う必要があるため、一定の程度で、畳み込み演算量が大きくなることを引き起こす。

上記課題を解決するために、本願の実施例は、格子化処理、及びサイズによって拘束される疎行列化処理に基づいて疎行列を生成し、目標検出を行う案を提供する。一方では、上記疎行列が目標場面における認識待ち対象のサイズ情報に基づいて生成されたものであるため、生成された疎行列は、ある程度、認識待ち対象の関連情報を直接的に表すことができ、この場合、目標検出精度要件が高くなければ、直接的に目標検出結果としてもよい。もう一方では、上記関連技術で採用される畳み込みニューラルネットワークに基づいて目標検出を行うプロセスにおいて、生成された疎行列における、対応する格子に目標点が存在する要素のみに対して畳み込み演算を行う必要があるため、一定の程度で畳み込み演算量を低減させ、目標検出の効率を向上させることができる。

本願の実施例において、取得された点群データに対して、まず、格子化処理を行い、続いて、格子化処理によって得られた格子行列に対して疎行列化処理を行い、疎行列を生成することができる。ここでの格子化処理プロセスは、空間的に分布する、各目標点を含む点群データを所定の格子内にマッピングし、格子に対応する目標点に基づいて、格子符号化（０、１行列に対応させる）を行うプロセスであってもよい。疎行列化処理プロセスは、目標場面における認識待ち対象のサイズ情報に基づいて、上記０、１行列に対して膨張処理操作（０、１行列における１で示される要素を増加させる処理結果に対応する）又は収縮処理操作（０、１行列における１で示される要素を減少させる処理結果に対応する）を行うプロセスであってもよい。続いて、上記格子化処理プロセス及び疎行列化処理プロセスを更に説明する。

ここで、上記格子化処理プロセスにおいて、デカルト連続実数座標系に分布する目標点を格子化の離散的座標系に変換することであり得る。

上記格子化処理プロセスを理解しやすくするために、以下、１つの例を参照しながら具体的に説明する。本願の実施例は、点Ａ（０．３２ｍ，０．４８ｍ）、点Ｂ（０．６ｍ，０．４８０１ｍ）及び点Ｃ（２．１ｍ，３．２ｍ）などの目標点を有する。１ｍを格子幅として格子化処理を行い、（０ｍ，０ｍ）から（１ｍ，１ｍ）までの範囲は、１番目の格子に対応し、（０ｍ，１ｍ）から（１ｍ，２ｍ）までの範囲は、２番目の格子に対応し、このように類推する。格子化後のＡ’（０，０）、Ｂ’（０，０）はいずれも１行１列目の格子に位置し、Ｃ’（２，３）は、２行３列目の格子に位置してもよい。それにより、デカルト連続実数座標系から離散的座標系への変換を実現する。ここで、目標点に関する座標情報は、基準点（例えば、点群データを収集するレーダー装置の所在位置）を参照することで決定されてもよく、ここで、詳細な説明を省略する。

本願の実施例において、二次元の格子化を行ってもよく、三次元格子化を行ってもよい。三次元の格子化は、二次元の格子化を基に高さ情報を追加したものである。続いて、二次元の格子化を例として具体的に説明する。

二次元の格子化について言えば、限られた空間をＮ×Ｍの格子に分割することができ、一般的には、等間隔分割を行い、間隔の大きさは、設定可能である。この場合、０、１行列（即ち、上記格子行列）を用いて、格子化された目標点群データを符号化することができる。各格子は、一意的な行番号及び列番号で構成される座標で表されてもよい。該格子において、１つ以上の目標点が存在すると、該格子を１として符号化し、そうでなければ、０として符号化し、それにより符号化された０、１行列を得ることができる。

上記方法により格子行列を決定した後、目標場面の認識待ち対象のサイズ情報に基づいて、上記格子行列における要素に対して疎行列化処理操作を行い、対応する疎行列を生成することができる。

ここで、認識待ち対象のサイズ情報は、予め取得されたものであってもよい。ここで、目標点群データに同期して収集された画像データによって、認識対象目標のサイズ情報を決定することができる。本願の実施例による点群データ処理方法の具体的な適用場面に基づいて、上記認識待ち対象のサイズ情報を大まかなに推定することもできる。例えば、自動運転分野において、車両前方の物体は車両であってもよく、その汎用のサイズ情報が４ｍ×４ｍであると決定することができる。これに加えて、本願の実施例は、他の方式によって、認識待ち対象のサイズ情報を決定することもでき、本願の実施例は、これを具体的に限定しない。

本願の実施例において、関連疎行列化処理操作は、格子行列における目標要素（即ち、対応する格子に目標点が存在することを表す要素）に対して少なくとも１回の膨張処理操作を行ってもよい。ここの膨張処理操作は、格子行列の座標範囲が目標場面における認識待ち対象のサイズよりも小さい場合に行われることであってもよい。つまり、一回又は複数回の膨張処理操作により、対応する格子に目標点が存在することを表す要素範囲を段階的に拡大し、拡大された要素範囲を認識待ち対象に合致させ、更に位置決定を実現する。これに加えて、本願の実施例における疎行列化処理操作は、格子行列における目標要素に対して少なくとも１回の収縮処理操作を行ってもよい。ここの収縮処理操作は、格子行列の座標範囲が目標場面における認識待ち対象のサイズよりも大きい場合に行われてもよい。つまり、一回又は複数回の収縮処理操作により、対応する格子に目標点が存在することを表す要素範囲を段階的に縮小し、縮小された要素範囲を認識待ち対象に合致させ、更に位置決定を実現する。

具体的な適用において、一回の膨張処理操作を行うか、複数回の膨張処理操作を行うか、一回の収縮処理操作を行うかそれとも複数回の収縮処理操作を行うかは、少なくとも１回のシフト処理及び論理演算処理を行うことで得られた疎行列の座標範囲の大きさと前記目標場面における認識待ち対象のサイズとの差が所定の閾値範囲内にあるかどうかによって決まる。つまり、本願に用いられる膨張又は収縮処理操作は、認識待ち対象のサイズ情報による拘束に基づいて行われる。これにより、決定された疎行列で表される情報を認識待ち対象の関連情報に更に適合させる。

膨張処理操作に基づいて実現される疎行列化処理であるかそれとも収縮処理操作に基づいて実現される疎行列化処理であるかに関わらず、その目的は、生成された疎行列がより正確な認識待ち対象の関連情報を表すことができるようにすることであると理解されるべきである。

本願の実施例において、上記膨張処理操作は、シフト操作及び論理和操作に基づいて実現されるものであってもよく、反転を行った後に畳み込みを行い、畳み込みを行った後に更に反転を行うことによって実現されるものであってもよい。２つの操作に具体的に用いられる方法が異なるが、最終的に生成される疎行列の効果は、同じであってもよい。

なお、上記収縮処理操作は、シフト操作及び論理積操作に基づいて実現されるものであってもよく、直接的に畳み込み操作に基づいて実現されるものであってもよい。同様に、２つの操作に具体的に用いられる方法が異なるが、最終的に生成された疎行列の効果は同じであってもよい。

続いて、膨張処理操作を例として、図５Ａ～図５Ｂに示す疎行列を生成する具体的な例の図を参照しながら、上記疎行列の生成プロセスを更に説明する。

図２Ａは、格子化処理後に得られた格子行列（符号化前に対応する）を示す概略図である。該格子行列における各目標要素（充填効果を有する格子に対応する）に対して、８近傍膨張操作を１回行い、図２Ｂに示すように、対応する疎行列を得ることができる。これから分かるように、本願の実施例は、図２Ａにおける対応する格子に目標点が存在する目標要素に対して、８近傍膨張操作を行うことによって、各目標要素が膨張後に１つの要素集合となる。該要素集合に対応する格子幅は、認識待ち対象のサイズに合致してもよい。

ここで、上記８近傍膨張操作は、上記目標要素の横座標又は縦座標との差の絶対値がいずれも１以下である要素を決定するプロセスであってもよい。格子縁の要素以外に、１つの要素の近傍に一般的に８個の要素（上記要素集合に対応する）がある。図２Ｂに示すように、膨張処理結果の入力は、６個の目標要素の座標情報であってもよく、出力は、該目標要素の８近傍内の要素集合の座標情報であってもよい。

実際の適用において、上記８近傍膨張操作を行うことができることに加えて、４近傍膨操作、他の膨張操作を行うこともでき、ここで具体的に限定しないことに留意されたい。これに加えて、本願の実施例は、複数回の膨張操作を行うこともできる。例えば、図２Ｂに示す膨張結果を基に、膨張操作を再び行い、要素集合範囲がより大きい疎行列を得る。ここで、詳細な説明を省略する。

本願の実施例において、生成された疎行列に基づいて、目標場面における認識待ち対象の位置情報を決定することができる。本願の実施例は、下記二つの態様によって具体的に実現することができる。

第１態様において、ここで、格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、認識待ち対象の位置範囲を決定することができ、具体的には下記ステップにより実現することができる。

ステップ１において、格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された疎行列における各目標要素に対応する目標点の座標情報を決定する。

ステップ２において、疎行列における各目標要素に対応する目標点の座標情報を組み合わせ、目標場面における認識待ち対象の位置を決定する。

ここで、格子化処理に関わる上記関連記載から分かるように、格子行列における各目標要素は、複数の目標点に対応してもよい。このように、関連要素と複数の目標点に対応する目標点座標範囲情報は、予め決定されてもよい。ここで、依然として、Ｎ×Ｍ次元の格子行列を例として、目標点が存在する目標要素は、Ｐ個の目標点に対応してもよく、各点の座標は、（Ｘｉ，Ｙｉ）であり、ｉは、０からＰ－１に属し、Ｘｉ、Ｙｉは、目標点の、格子行列における位置を表し、０≦Ｘｉ＜Ｎ、０≦Ｙｉ＜Ｍである。

このように、疎行列を生成した後、予め決定された上記各要素と各目標点座標範囲情報との対応関係に基づいて、該疎行列における各目標要素に対応する目標点の座標情報を決定することができる。つまり、逆格子化処理操作を行う。

疎行列は、格子行列における、対応する格子に目標点が存在することを表す要素に対して、疎行列化処理を行うことで得られたものであるため、ここで、疎行列における目標要素は、対応する格子に目標点が存在することを表す要素であってもよいことに留意されたい。

上記逆格子化処理プロセスを理解しやすくするために、続いて、１つの例を参照しながら、具体的に説明する。ここで、疎行列で指示される点Ａ’（０，０）、点Ｂ’（０，０）が１行１列目の格子に位置し、点Ｃ’（２，３）が２行３列目の格子に位置することを例とする。逆格子化処理プロセスにおいて、１番目の格子（０，０）に対して、その中心を利用してデカルト座標系にマッピングバックした後に、（０．５ｍ，０．５ｍ）を得ることができる。２行３列目の格子（２，３）に対して、その中心を利用してデカルト座標系にマッピングした後に、（２．５ｍ，３．５ｍ）を得ることができ、即ち、（０．５ｍ，０．５ｍ）及び（２．５ｍ，３．５ｍ）を、マッピング後の座標情報と決定することができる。このように、マッピング後の座標情報を組み合わせることによって、目標場面における認識待ち対象の位置を決定することができる。

本願の実施例は、上記疎行列と目標検出結果との近似関係に基づいて、認識待ち対象の位置範囲の決定を実現することができるだけでなく、訓練済みの畳み込みニューラルネットワークに基づいて、認識待ち対象の位置範囲を決定することもできる。

第２態様において、本願の実施例は、まず、訓練済みの畳み込みニューラルネットワークに基づいて、生成された疎行列に対して少なくとも１回の畳み込み処理を行うことができ、続いて、畳み込み処理により得られた畳み込み結果に基づいて、認識待ち対象の位置範囲を決定することができる。

畳み込みニューラルネットワークを利用して目標検出を実現する関連技術において、全ての入力データをトラバーサルして入力点の近傍点を順次見付けて畳み込み演算を行い、最後に、全ての近傍点の集合を出力する必要があるが、本願の実施例が提供する方法において、疎行列における目標要素を迅速にトラバーサルして有効点の所在位置（即ち、０、１行列における１である要素）を見付けて畳み込み演算を行えばよい。それにより、畳み込みニューラルネットワークの演算プロセスを大幅に速くし、認識待ち対象の位置範囲の決定効率を向上させる。

疎行列化処理操作が本願の実施例による点群データ処理方法に対して肝心な役割を果たすことを考慮して、以下、下記二つの態様によりそれぞれ説明する。

第１態様において、疎行列化処理操作が膨張処理操作である場合、本願の実施例は、シフト操作と論理演算により実現してもよく、反転した後に畳み込みを行い、畳み込みを行った後に更に反転を行うことにより実現してもよい。

その１において、本願の実施例では、少なくとも１回のシフト処理及び論理和演算に基づいて１回又は複数回の膨張処理操作を行うことができる。具体的な実現プロセスにおいて、具体的な膨張処理操作の回数は、目標場面における認識待ち対象のサイズ情報によって決まってもよい。

ここで、初回の膨張処理操作において、対応する格子に目標点が存在することを表す目標要素に対して、複数の所定の方向のシフト処理を行い、対応する複数のシフト後の格子行列を得て、続いて、格子行列及び初回の膨張処理操作に対応する複数のシフト後の格子行列に対して論理和演算を行うことができ、それにより初回の膨張処理操作後の疎行列を得ることができる。ここで、得られた疎行列の座標範囲が認識待ち対象のサイズよりも小さいかどうか、対応する差が十分に大きい（例えば、所定の閾値よりも大きい）かどうかを判定することができる。そうであれば、上記方法に従って、初回の膨張処理操作後の疎行列における目標要素に対して複数の所定の方向のシフト処理又は論理和演算を行い、２回目の膨張処理操作後の疎行列を得ることができる。このように類推し、最後に得られた疎行列の座標範囲と目標場面における認識待ち対象のサイズとの差が所定の閾値範囲に属すると判定した場合、疎行列を決定する。

何回目の膨張処理操作後に得られた疎行列であるかに関わらず、その本質も０、１行列である。膨張処理操作の回数の増加に伴い、得られた疎行列における、対応する格子に目標点が存在することを表す目標要素の数も増加し、且つ０、１行列のマッピングされる格子が幅情報を有するため、ここで、疎行列における各目標要素に対応する座標範囲を利用して、目標場面における認識待ち対象のサイズに達するかどうかを検証することができ、それにより、後続の目標検出の適用の正確性を向上させる。

ここで、上記論理和演算は、下記ステップに従って実現してもよい。

ステップ１において、複数のシフト後の格子行列から、１つのシフト後の格子行列を選択する。

ステップ２において、今回の膨張処理操作の前の格子行列と選択されたシフト後の格子行列に対して論理和演算を行い、演算結果を得る。

ステップ３において、シフト後の複数の格子行列から、演算に関与していない格子行列を選択することを繰り返し、選択された格子行列と最近の１回の演算結果に対して論理和演算を行い、全ての格子行列の選択切れるまで継続して今回の膨張処理操作の後の疎行列を得る。

ここで、まず、複数のシフト後の格子行列から、１つのシフト後の格子行列を選択することができる。このように、今回の膨張処理操作の前の格子行列と選択されたシフト後の格子行列に対して論理和演算を行い、演算結果を得ることができる。ここで、複数のシフト後の格子行列から、演算に関与していない格子行列を選択し、論理和演算に関与させるステップを繰り返して実行し、全てのシフト後の格子行列の選択を完了するまで継続して、現在の膨張処理操作後の疎行列を得ることができる。

本願の実施例における膨張処理操作は、目標要素を中心とした４近傍膨張であってもよく、目標要素を中心とした８近傍膨張であってもよく、他の近傍処理操作方式であってもよい。具体的な適用において、認識待ち対象のサイズ情報に基づいて、対応する近傍処理操作方式を選択することができ、ここで、具体的に限定しない。

異なる近傍処理操作方式に対して、対応するシフト処理の所定の方向は異なることに留意されたい。４近傍膨張操作を例として、格子行列に対して、４つの所定の方向に従ってそれぞれシフト処理を行うことができる。これらは、それぞれ左シフト、右シフト、上シフト及び下シフトである。８近傍膨張操作を例として、格子行列に対して、４つの所定の方向に従ってそれぞれシフト処理を行うことができる。これらは、それぞれ左シフト、右シフト、上シフト、下シフト、左シフトを前提とした上シフトと下シフト、及び右シフトを前提とした上シフトと下シフトである。これに加えて、後続の論理和演算に適合させるために、複数のシフト方向に基づいてシフト後の格子行列を決定した後、まず、１回の論理和演算を行い、続いて、論理和演算結果に対して複数のシフト方向のシフト操作を行い、続いて、次回の論理和演算を行い、このように類推して、膨張処理後の疎行列を得るまで継続する。

上記膨張処理操作を理解しやすくするために、まず、図２Ａに示す符号化前の格子行列を図２Ｃに示す符号化後の格子行列に変換し、続いて、図３Ａ～図３Ｂを参照しながら、初回の膨張処理操作を例示的に説明する。

図２Ｃに示す格子行列は、０、１行列であり、行列における全ての「１」の位置は、目標要素が所在する格子を表すことができ、行列における全ての「０」は、背景を表すことができる。

本願の実施例において、まず、行列シフトを用いて、０、１行列における全ての要素値が１である要素の近傍を決定することができる。ここで、４つの所定の方向のシフト処理を定義することができる。これらは、左シフト、右シフト、上シフト及び下シフトである。ここで、図３Ａに示すように、左シフトは、０、１行列における全ての要素値が１である要素に対応する列座標から１を減ることである。右シフトは、０、１行列における全ての要素値が１である要素に対応する列座標に１を加えることである。上シフトは、０、１行列における全ての要素値が１である要素に対応する行座標から１を減ることである。下シフトは、０、１行列における全ての要素値が１である要素に対応する行座標に１を加えることである。

次に、本願の実施例において、行列論理和操作を用いて全ての近傍の結果を統合することができる。行列論理和は、大きさが同じである２組の０、１行列入力を受けた場合、２組の行列における同一の位置の０１に対して順に論理和操作を行い、得られた結果で、新たな０、１行列を構成して出力とする。図３Ｂは、１つの論理和演算の具体的な例を示す。

論理和操作を実現する具体的なプロセスにおいて、左シフト後の格子行列、右シフト後の格子行列、上シフト後の格子行列、下シフト後の格子行列を順に選択して論理和演算に関与させることができる。例えば、まず、格子行列と左シフト後の格子行列に対して論理和演算を行い、得られる演算結果と右シフト後の格子行列に対して論理和演算を行い、得られる演算結果と上シフト後の格子行列に対して論理和演算を行い、得られる演算結果と下シフト後の格子行列に対して論理和演算を行うことで、初回の膨張処理操作後の疎行列を得ることができる。

上記シフト後の格子行列の選択順は具体的な例だけであることに留意されたい。実際の適用において、他の方式によって選択することができる。シフト操作の対称性を考慮すると、ここで、上シフトと下シフトを選択してペアリングした後に、論理和演算を行い、左シフトと右シフトを選択してペアリングした後に、論理演算を行うことができる。２つの論理和演算を同期して行うことができ、演算時間を節約することができる。

その２において、本願の実施例では、畳み込みと２回の反転処理により、膨張処理操作を実現することができる。具体的には、下記ステップにより実現してもよい。

ステップ１において、今回の膨張処理操作の前の格子行列における要素に対して第１反転操作を行い、第１反転操作後の格子行列を得る。

ステップ２において、第１所定の畳み込みカーネルに基づいて、第１反転操作後の格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得て、所定の疎性は、目標場面における認識待ち対象のサイズ情報によって決まる。

ステップ３において、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列における要素に対して、第２反転操作を行い、疎行列を得る。

本願の実施例は、反転を行った後に畳み込みを行い、畳み込みを行った後に更に反転を行うという操作によって膨張処理操作を行うことができ、得られた疎行列は、一定の程度で、認識待ち対象の関連情報を表すこともできる。これに加えて、上記畳み込み操作と、後続で目標検出などの適用を行うために用いられる畳み込みニューラルネットワークと、を自動的に組み合わせることができることを考慮して、一定の程度で、検出効率を向上させることができる。
本願の実施例において、反転操作は、畳み込み演算に基づいて実現されてもよく、他の反転操作方式に基づいて実現されてもよい。後続で用いられるネットワーク（例えば、目標検出に用いられる畳み込みニューラルネットワーク）に適合するために、ここで、畳み込み演算を利用することで具体的に実現してもよい。続いて、上記第１反転操作を具体的に説明する。

ここで、第２所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における、目標要素以外の他の要素に対して、畳み込み演算を行い、第１反転要素を得ることができ、第２所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における目標要素に対して畳み込み演算を行い、第２反転要素を得ることもできる。上記第１反転要素及び第２反転要素に基づいて、第１反転操作後の格子行列を決定することができる。

第２反転操作の実現プロセスは、上記第１反転操作の実現プロセスを参照することができ、ここで、詳細な説明を省略する。

本願の実施例において、第１所定の畳み込みカーネルを利用して、第１反転操作後の格子行列に対して少なくとも１回の畳み込み演算を行うことによって、所定の疎性を有する格子行列を得ることができる。膨張処理操作は、格子行列における目標要素の数を増加させる手段とすることができると、上記畳み込み演算は、格子行列における目標要素の数を減少させるプロセス（収縮処理操作に対応する）と見なすことができる。本願の実施例における畳み込み演算は、第１反転操作後の格子行列に対して行われるため、反転操作と収縮処理操作を行い、続いて反転操作を再び行うことによって、上記膨張処理操作に等価である等価操作を実現する。

ここで、初回の畳み込み演算に対して、第１反転操作後の格子行列と第１所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得る。初回の畳み込み演算後の格子行列の疎性が所定の疎性に達していないと判定した後、初回の畳み込み演算後の格子行列と第１所定の畳み込みカーネルに対して再び畳み込み演算を行い、２回目の畳み込み演算後の格子行列を得る。このように類推して、所定の疎性を有する格子行列を決定するまで継続する。

ここで、上記疎性は、格子行列における目標要素と非目標要素の割合分布によって決まってもよい。目標要素の割合が大きいほど、それが表す認識待ち対象のサイズ情報が大きくなる。逆に、目標要素の割合が小さいほど、それが表す認識待ち対象のサイズ情報が小さくなる。本願の実施例において、割合分布が所定の疎性に達した場合に、畳み込み演算を停止することができる。

本願の実施例における畳み込み演算は、１回であってもよく、複数回であってもよい。ここで、初回の畳み込み演算の具体的な演算プロセスを説明する。それは、下記ステップを含む。

ステップ１において、初回の畳み込み演算に対して、第１所定の畳み込みカーネルのサイズ及び所定のステップサイズに従って、第１反転操作後の格子行列から各格子サブ行列を選択する。

ステップ２において、選択された各格子サブ行列に対して、該格子サブ行列と重み行列に対して乗積演算を行い、第１演算結果を得て、第１演算結果とオフセット量に対して加算演算を行い、第２演算結果を得ることを実行する。

ステップ３において、各格子サブ行列に対応する第２演算結果に基づいて、初回の畳み込み演算後の格子行列を決定する。

ここで、トラバーサル方式を用いて、第１反転操作後の格子行列に対してトラバーサルを行うことができる。このように、トラバーサルされた各格子サブ行列に対して、格子サブ行列と重み行列に対して乗積演算を行い、第１演算結果を得て、第１演算結果とオフセット量に対して加算演算を行い、第２演算結果を得ることができる。このように、各格子サブ行列に対応する第２演算結果を対応する行列要素に組み込むことによって、初回の畳み込み演算後の格子行列を得ることができる。

上記膨張処理操作を理解しやすくするために、ここで、依然として、図２Ｃに示す符号化後の格子行列を例として、図４Ａから図４Ｂを参照しながら、膨張処理操作を例示的に説明する。

ここで、１つの１×１の畳み込みカーネル（即ち、第２所定の畳み込みカーネル）を利用して第１反転操作を実現することができる。該第２所定の畳み込みカーネルの重みは、－１であり、オフセット量は、１である。この場合、重みとオフセット量を｛出力＝入力された格子行列×重み＋オフセット量｝という畳み込み式に代入する。入力が格子行列における目標要素であり、その値が１であると、出力＝１×－１＋１＝０である。入力が格子行列における非目標要素であり、その値が０であると、出力＝０×－１＋１＝１である。このように、１×１畳み込みカーネルを入力に作用することで、図４Ａに示すように、０、１行列を反転して、要素値０を１に変更し、要素値１を０に変更することができる。

上記収縮処理操作に対して、具体的な適用において、１つの３×３畳み込みカーネル（即ち、第１所定の畳み込みカーネル）と１つの正規化線形関数（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：ＲｅＬＵ）により実現してもよい。上記第１所定の畳み込みカーネル重み行列に含まれる各重みは、いずれも１であり、オフセット量は８である。このように、式｛出力＝ＲｅＬＵ（入力された第１反転操作後の格子行列×重み＋オフセット量）｝により、上記収縮処理操作を実現することができる。

ここで、入力された３×３の格子サブ行列内の全ての要素がいずれも１である場合のみ、出力＝ＲｅＬＵ（９－８）＝１である。そうでなければ、出力＝ＲｅＬＵ（入力された格子サブ行列×１－８）＝０である。ここで、（入力された格子サブ行列×１－８）＜０である。図４Ｂは、畳み込み演算後の格子行列を示す。

ここで、第２所定の畳み込みカーネルを有する１層の畳み込みネットワークをネスティングする毎に、１回の収縮操作を加えることができる。それにより、固定の疎性を有する格子行列を得ることができる。更なる反転操作は、一回の膨張処理操作に等価であってもよく、それにより、疎行列の生成を実現することができる。

第２態様において、疎行列化処理操作が収縮処理操作である場合、本願の実施例は、シフト処理と論理演算により実現してもよく、畳み込み演算により実現してもよい。

その１において、本願の実施例では、少なくとも１回のシフト処理と論理積演算に基づいて、一回又は複数回の収縮処理操作を行うことができる。具体的な実現プロセスにおいて、具体的な収縮処理操作の回数は、目標場面における認識待ち対象のサイズ情報によって決まってもよい。

第１態様における、シフト処理及び論理和演算に基づいて膨張処理を実現することと同様に、収縮処理操作を行うプロセスにおいて、まず、格子行列のシフト処理を行ってもよい。上記膨張処理と異なっており、ここの論理演算は、シフト後の格子行列に対して行われる論理積の演算であってもよい。シフト処理及び論理積演算に基づいて収縮処理操作を行うプロセスは、上記記述を参照することができ、ここで、詳細な説明を省略する。

同様に、本願の実施例における収縮処理操作は、目標要素を中心とした４近傍収縮であってもよく、目標要素を中心とした８近傍収縮であってもよく、他の領域処理操作方式であってもよい。具体的な適用において、認識待ち対象のサイズ情報に基づいて、対応する領域処理操作方式を選択することができ、ここで、具体的に限定しない。

その２において、本願の実施例では、畳み込み処理により収縮処理操作を実現することができる。具体的には、下記ステップにより実現してもよい。

ステップ１において、第３所定の畳み込みカーネルに基づいて、格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得て、所定の疎性は、目標場面における認識待ち対象のサイズ情報によって決まる。

ステップ２において、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を、認識待ち対象に対応する疎行列と決定する。

上記畳み込み演算は、格子行列における目標要素の数を減少させるという収縮処理プロセスと見做されてもよい。ここで、初回の畳み込み演算に対して、格子行列と第１所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得る。初回の畳み込み演算後の格子行列の疎性が所定の疎性に達していないと判定した後、初回の畳み込み演算後の格子行列と第３所定の畳み込みカーネルに対して再び畳み込み演算を行い、２回目の畳み込み演算後の格子行列を得る。このように類推して、所定の疎性を有する格子行列を決定できるまで継続することによって、認識待ち対象に対応する疎行列を得る。

本願の実施例における畳み込み演算は、１回であってもよく、複数回であってもよい。畳み込み演算に関わる具体的なプロセスは、上記第１態様における畳み込みと反転により膨張処理を実現するという関連説明を参照することができ、ここで、詳細な説明を省略する。

具体的な適用において、データ処理ビット幅が異なる畳み込みニューラルネットワークを用いて疎行列の生成を実現することができることに留意されたい。例えば、４ビット（ｂｉｔ）で、ネットワークの入力、出力及び演算に用いられるパラメータ、例えば格子行列の要素値（０又は１）、重み、オフセット量などを表すことができる。これに加えて、８ｂｉｔで表すことによって、ネットワーク処理のビット幅に適応し、演算効率を向上させることもできる。

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの実際の実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。

同一の技術的思想によれば、本願の実施例は、点群データ処理方法に対応する点群データ処理装置を更に提供する。本願の実施例における装置による課題を解決するための原理は、本願の実施例における上記点群データ処理方法と類似するため、装置の実施は、方法の実施を参照することができる。ここでは重複な説明を省略する。

実施例２
図５を参照すると、図５は、本願の実施例による点群データ処理装置のアーキテクチャを示す概略図である。前記装置は、取得モジュール５０１と、処理モジュール５０２と、生成モジュール５０３と、決定モジュール５０４と、を備え、ここで、
取得モジュール５０１は、目標場面に対応する点群データを取得するように構成され、
処理モジュール５０２は、取得された点群データに対して格子化処理を行い、格子行列を得るように構成され、格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、目標点は、前記点群データに対応するいずれか１つの点を表し
生成モジュール５０３は、格子行列及び記目標場面における認識待ち対象のサイズ情報に基づいて、認識待ち対象に対応する疎行列を生成するように構成され、
決定モジュール５０４は、生成された疎行列に基づいて、目標場面における認識待ち対象の位置を決定するように構成される。

上記点群データ処理装置を用いることによって、まず、点群データにおける各目標点を対応する格子にマッピングすることができる。いくつかの格子は、１つ又は複数の目標点に対応し、いくつかの格子は、何らの目標点にも対応しない。このように、上記マッピング関係に基づいて決定された格子行列は、標準化した０、１行列であってもよい。該０、１行列を関連処理操作に関与させることによって、対応する疎行列を決定することができる。上記処理操作は、目標場面における認識待ち対象のサイズ情報に基づいて行われるため、処理操作によって生成された疎行列における要素値が１である要素は、一定の程度で、認識待ち対象の関連情報を表すことができる。ここで、目標場面における認識待ち対象の位置を決定することができる。

一実施形態において、生成モジュール５０３は、
格子行列及び目標場面における認識待ち対象のサイズ情報に基づいて、格子行列における目標要素に対して少なくとも１回の膨張処理操作又は収縮処理操作を行い、認識待ち対象に対応する疎行列を生成するステップに従って、格子行列及び目標場面における認識待ち対象のサイズ情報に基づいて、認識待ち対象に対応する疎行列を生成するように構成され、
ここで、前記目標要素の値は、対応する格子に目標点が存在することを表す。

一実施形態において、生成モジュール５０３は、
シフト処理及び論理演算処理を行うステップに従って、膨張処理操作又は収縮処理操作を行うように構成され、
疎行列の座標範囲と認識待ち対象のサイズとの差は、所定の閾値範囲内にある。

一実施形態において、生成モジュール５０３は、
今回の膨張処理操作の前の格子行列における要素に対して第１反転操作を行い、第１反転操作後の格子行列を得るステップと、
第１所定の畳み込みカーネルに基づいて、第１反転操作後の格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得るステップであって、所定の疎性は、目標場面における認識待ち対象のサイズ情報によって決まる、ステップと、
少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列における要素に対して、第２反転操作を行い、疎行列を得るステップと、に従って、格子行列及び目標場面における認識待ち対象のサイズ情報に基づいて、格子行列における要素に対して少なくとも１回の膨張処理操作を行い、認識待ち対象に対応する疎行列を生成するように構成される。

一実施形態において、生成モジュール５０３は、
第２所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における、目標要素以外の他の要素に対して、畳み込み演算を行い、第１反転要素を得るステップと、
第２所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における目標要素に対して、畳み込み演算を行い、第２反転要素を得るステップと、
第１反転要素及び第２反転要素に基づいて、第１反転操作後の格子行列を得るステップと、に従って、今回の膨張処理操作の前の格子行列における要素に対して第１反転操作を行い、第１反転操作後の格子行列を得るように構成される。

一実施形態において、生成モジュール５０３は、
初回の畳み込み演算に対して、第１反転操作後の格子行列と第１所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得るステップと、
前回の畳み込み演算の後の格子行列と第１所定の畳み込みカーネルに対して畳み込み演算を行い、今回の畳み込み演算の後の格子行列を得ることを繰り返して実行し、前記所定の疎性を有する格子行列を得るまで継続するステップと、に従って、第１所定の畳み込みカーネルに基づいて、第１反転操作後の格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得るように構成される。

一実施形態において、第１所定の畳み込みカーネルは、重み行列と、該重み行列に対応するオフセット量と、を有し、生成モジュール５０３は、
初回の畳み込み演算に対して、第１所定の畳み込みカーネルのサイズ及び所定のステップサイズに従って、第１反転操作後の格子行列から各格子サブ行列を選択するステップと、
選択された各格子サブ行列に対して、該格子サブ行列と重み行列に対して畳み込み演算を行い、第１演算結果を得て、第１演算結果と前記オフセット量に対して加算演算を行い、第２演算結果を得ることを実行するステップと、
各格子サブ行列に対応する第２演算結果に基づいて、初回の畳み込み演算後の格子行列を決定するステップと、に従って、初回の畳み込み演算に対して、第１反転操作後の格子行列と第１所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得るように構成される。

一実施形態において、生成モジュール５０３は、
第３所定の畳み込みカーネルに基づいて、格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得るステップであって、所定の疎性は、目標場面における認識待ち対象のサイズ情報によって決まる、ステップと、
少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を、認識待ち対象に対応する疎行列と決定するステップと、に従って、格子行列及び目標場面における認識待ち対象のサイズ情報に基づいて、格子行列における要素に対して、少なくとも１回の収縮処理操作を行い、認識待ち対象に対応する疎行列を生成するように構成される。

一実施形態において、処理モジュール５０２は、
取得された点群データに対して格子化処理を行い、格子行列及び該格子行列における各要素と各目標点座標範囲情報との対応関係を得るステップに従って、取得された点群データに対して格子化処理を行い、格子行列を得るように構成され、
決定モジュール５０４は、
格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された疎行列における各目標要素に対応する目標点の座標情報を決定するステップと、
疎行列における各目標要素に対応する目標点の座標情報を組み合わせ、目標場面における認識待ち対象の位置を決定するステップと、に従って、生成された疎行列に基づいて、目標場面における認識待ち対象の位置を決定するように構成される。

一実施形態において、決定モジュール５０４は、
訓練済みの畳み込みニューラルネットワークに基づいて、生成された疎行列における各目標要素に対して、少なくとも１回の畳み込み処理を行い、畳み込み結果を得るステップと、
畳み込み結果に基づいて、目標場面における認識待ち対象の位置を決定するステップと、に従って、生成された疎行列に基づいて、目標場面における認識待ち対象の位置を決定するように構成される。

装置における各モジュールの処理プロセス、及び各モジュール間のインタラクションプロセスに関する記述は、上記方法の実施例における関連説明を参照してもよく、ここで詳細な説明を省略する。

実施例３
図６に示すように、本願の実施例は、電子機器を更に提供する。前記電子機器は、プロセッサ６０１と、メモリ６０２と、バス６０３と、を備え、メモリ６０２に、プロセッサ６０１による実行可能な機器可読命令（例えば、図５に示す点群データ処理装置における取得モジュール５０１、処理モジュール５０２、生成モジュール５０３及び決定モジュール５０４により実行される命令）が記憶されており、電子機器が動作する時に、プロセッサ６０１とメモリ６０２とは、バス６０３を介して通信し、機器可読命令がプロセッサ６０１により実行される場合、
目標場面に対応する点群データを取得することと、
取得された点群データに対して格子化処理を行い、格子行列を得ることであって、格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、目標点は、点群データに対応するいずれか１つの点を表す、ことと、
格子行列及び目標場面における認識待ち対象のサイズ情報に基づいて、認識待ち対象に対応する疎行列を生成することと、
生成された疎行列に基づいて、目標場面における認識待ち対象の位置を決定することと、を実行する。

本開示の実施例は、コンピュータ可読記憶媒体を更に提供する。それに記憶されているコンピュータプログラムがプロセッサにより実行される場合、上記方法の実施例に記載の点群データ処理方法を実行する。ここで、該記憶媒体は、揮発性又は不揮発性コンピュータ可読記憶媒体であってもよい。

本願の実施例が提供する点群データ処理方法のコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記方法の実施例に記載の点群データ処理方法のステップを実行するために用いられ、具体的に、上記方法の実施例を参照することができ、ここで、詳細な説明を省略する。

本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムは、プロセッサにより実行される時、前記実施例のいずれか１つの方法を実現する。該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。１つの選択可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現化され、もう１つの選択可能な実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化される。

説明上の便宜及び簡素化を図るために、上記説明されたシステム及び装置の具体的な作動過程は、前記方法の実施例における対応した過程を参照することができ、ここで詳細な説明を省略することは、当業者にはっきり理解されるべきである。本発明で提供する幾つかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した装置の実施例はただ例示的なものであり、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

分離部材として説明した前記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の提案の目的を実現することができる。

また、本願の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。

前記機能はソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、プロセッサによる実行可能な不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現化することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ、又はネットワーク機器など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。上述した記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

最後に説明しておきたいこととして、上記実施例は本願の具体的な実施形態に過ぎず、本願の技術的解決手段を説明するためのものであり、これを限定するものではなく、本願の保護範囲はこれに制限されるものではない。前記実施例を参照しながら、本願を詳細に説明したが、本技術分野を周知するいかなる当業者であれば、本願で開示された技術的範囲内で、前記実施例に記載の技術的解決手段に対して修正を行うことができるか又は変更を容易に思いつくことができ、又は一部の技術的特徴に対して均等物による置換を行うこともでき、これらの修正、変更又は置換は、対応する技術的解決手段の本質を本願の実施例の技術的解決手段の精神及び範囲から離脱させるものではなく、本願の保護範囲内に含まれるものとすることは、理解すべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

Claims (13)

1. 点群データ処理方法であって、
   目標場面に対応する点群データを取得することと、
   取得された前記点群データに対して格子化処理を行い、格子行列を得ることであって、前記格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、前記目標点は、前記点群データに対応するいずれか１つの点を表す、ことと、
   前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記認識待ち対象に対応する疎行列を生成することと、
   生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定することと、を含む、点群データ処理方法。
2. 前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記認識待ち対象に対応する疎行列を生成することは、
   前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記格子行列における目標要素に対して少なくとも１回の膨張処理操作又は収縮処理操作を行い、前記認識待ち対象に対応する疎行列を生成することを含み、
   前記目標要素の値は、対応する格子に前記目標点が存在することを表すことを特徴とする
   請求項１に記載の処理方法。
3. 前記膨張処理操作又は収縮処理操作は、シフト処理及び論理演算処理を含み、
   前記疎行列の座標範囲と前記認識待ち対象のサイズとの差は、所定の閾値範囲内にあることを特徴とする
   請求項２に記載の処理方法。
4. 前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記格子行列における要素に対して少なくとも１回の膨張処理操作を行い、前記認識待ち対象に対応する疎行列を生成することは、
   今回の膨張処理操作の前の格子行列における要素に対して第１反転操作を行い、第１反転操作後の格子行列を得ることと、
   第１所定の畳み込みカーネルに基づいて、前記第１反転操作後の格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得ることと、
   前記少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列における要素に対して、第２反転操作を行い、前記疎行列を得ることと、を含むことを特徴とする
   請求項２に記載の処理方法。
5. 今回の膨張処理操作の前の格子行列における要素に対して第１反転操作を行い、第１反転操作後の格子行列を得ることは、
   第２所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における、前記目標要素以外の他の要素に対して、畳み込み演算を行い、第１反転要素を得ることと、
   前記第２所定の畳み込みカーネルに基づいて、今回の膨張処理操作の前の格子行列における目標要素に対して、畳み込み演算を行い、第２反転要素を得ることと、
   前記第１反転要素及び前記第２反転要素に基づいて、第１反転操作後の格子行列を得ることと、を含むことを特徴とする
   請求項４に記載の処理方法。
6. 第１所定の畳み込みカーネルに基づいて、前記第１反転操作後の格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得ることは、
   初回の畳み込み演算に対して、前記第１反転操作後の格子行列と前記第１所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得ることと、
   前回の畳み込み演算の後の格子行列と前記第１所定の畳み込みカーネルに対して畳み込み演算を行い、今回の畳み込み演算の後の格子行列を得ることを繰り返して実行し、前記所定の疎性を有する格子行列を得るまで継続することと、を含むことを特徴とする
   請求項４又は５に記載の処理方法。
7. 前記第１所定の畳み込みカーネルは、重み行列と、前記重み行列に対応するオフセット量と、を有し、初回の畳み込み演算に対して、前記第１反転操作後の格子行列と前記第１所定の畳み込みカーネルに対して畳み込み演算を行い、初回の畳み込み演算後の格子行列を得ることは、
   初回の畳み込み演算に対して、第１所定の畳み込みカーネルのサイズ及び所定のステップサイズに従って、前記第１反転操作後の格子行列から各格子サブ行列を選択することと、
   選択された各前記格子サブ行列に対して、
   該格子サブ行列と前記重み行列に対して乗積演算を行い、第１演算結果を得ることと、
   前記第１演算結果と前記オフセット量に対して加算演算を行い、第２演算結果を得ることとを実行する、ことと、
   各前記格子サブ行列に対応する第２演算結果に基づいて、初回の畳み込み演算後の格子行列を決定することと、を含むことを特徴とする
   請求項６に記載の処理方法。
8. 前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記格子行列における要素に対して、少なくとも１回の収縮処理操作を行い、前記認識待ち対象に対応する疎行列を生成することは、
   第３所定の畳み込みカーネルに基づいて、格子行列に対して少なくとも１回の畳み込み演算を行い、少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を得ることと、
   前記少なくとも１回の畳み込み演算後の、所定の疎性を有する格子行列を、前記認識待ち対象に対応する疎行列と決定することと、を含むことを特徴とする
   請求項２に記載の処理方法。
9. 取得された前記点群データに対して格子化処理を行い、格子行列を得ることは、
   取得された前記点群データに対して格子化処理を行い、格子行列及び該格子行列における各要素と各目標点座標範囲情報との対応関係を得ることを含み、
   生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定することは、
   前記格子行列における各要素と各目標点座標範囲情報との対応関係に基づいて、生成された前記疎行列における各目標要素に対応する目標点の座標情報を決定することと、
   前記疎行列における各前記目標要素に対応する目標点の座標情報を組み合わせ、前記目標場面における前記認識待ち対象の位置を決定することと、を含むことを特徴とする
   請求項１～８のうちいずれか一項に記載の処理方法。
10. 生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定することは、
    訓練済みの畳み込みニューラルネットワークに基づいて、生成された前記疎行列における各目標要素に対して、少なくとも１回の畳み込み処理を行い、畳み込み結果を得ることと、
    前記畳み込み結果に基づいて、前記目標場面における前記認識待ち対象の位置を決定することと、を含むことを特徴とする
    請求項１～８のうちいずれか一項に記載の処理方法。
11. 点群データ処理装置であって、
    目標場面に対応する点群データを取得するように構成される取得モジュールと、
    取得された前記点群データに対して格子化処理を行い、格子行列を得るように構成される処理モジュールであって、前記格子行列における各要素の値は、対応する格子に目標点が存在するかどうかを表すためのものであり、前記目標点は、前記点群データに対応するいずれか１つの点を表す、処理モジュールと、
    前記格子行列及び前記目標場面における認識待ち対象のサイズ情報に基づいて、前記認識待ち対象に対応する疎行列を生成するように生成モジュールと、
    生成された前記疎行列に基づいて、前記目標場面における前記認識待ち対象の位置を決定するように構成される決定モジュールと、を備える、点群データ処理装置。
12. 電子機器であって、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリとは、バスを介して通信し、前記機器可読命令が、前記プロセッサにより実行される場合、請求項１～１０のうちいずれか一項に記載の点群データ処理方法のステップを実行する、電子機器。
13. コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、該コンピュータプログラムは、プロセッサに、請求項１～１０のうちいずれか一項に記載の点群データ処理方法を実行させる、コンピュータ可読記憶媒体。

Images