JP2021528726A - ポイントクラウドデータの処理方法、装置、電子機器及び記憶媒体 - Google Patents

Abstract

本願の実施例は、ポイントクラウドデータの処理方法、装置、電子機器及び記憶媒体を提供する。前記方法は、ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得することと、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得ることであって、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表す、ことと、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得ることと、前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年０５月２３日に提出された、出願番号が２０１９１０４３０７００．７である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、コンピュータアプリケーション技術分野に関し、具体的には、ポイントクラウドデータの処理方法、装置、電子機器及びコンピュータ可読記憶媒体に関する。

ポイントクラウド認識は、コンピュータビジョン及び深層学習分野における重要の課題である。ポイントクラウドデータを学習することで、物体の三次元構造を認識する。

従来の技術的課題を解決するために、本願の実施例は、ポイントクラウドデータの処理方法、装置及び電子機器を提供する。

上記目的を達成するために、本願の実施例の技術的解決手段は、以下のように実現する。

本願の実施例は、ポイントクラウドデータの処理方法を提供する。前記方法は、
ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得することと、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得ることであって、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表す、ことと、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得ることと、前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることと、を含む。

本願の実施例は、ポイントクラウドデータの処理装置を更に提供する。前記装置は、取得ユニットと、補間処理ユニットと、特徴取得ユニットと、を備え、
前記取得ユニットは、ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得するように構成され、
前記補間処理ユニットは、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得るように構成され、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、
前記特徴取得ユニットは、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得て、前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得るように構成される。

本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、該プログラムがプロセッサにより実行される時、本願の実施例に記載の方法のステップを実現させる。

本願の実施例は、電子機器を更に提供する。前記電子機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサで実行される可能なコンピュータプログラムと、を備え、前記プロセッサが前記プログラムを実行する時、本願の実施例に記載の方法のステップを実現させる。

本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるいずれか１つのポイントクラウドデータの処理方法を実現させることができる。

本願の実施例は、ポイントクラウドデータの処理方法、装置、電子機器及びコンピュータ可読記憶媒体を提供する。前記方法は、ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得することと、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得ることであって、前記第１重みデータは、前記ポイントクラウドデータと前記第１離散畳み込みカーネルの重みベクトルとを関連付けるためのものである、ことと、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、離散畳み込み処理を行い、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることと、を含む。本願の実施例の技術的解決手段によれば、ポイントクラウドデータに対して補間処理を行うことで、ポイントクラウドデータと第１離散畳み込みカーネルとを関連付ける。つまり、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表すためのものが得られる。これにより、離散したポイントクラウドデータと離散畳み込みカーネルの重みベクトルをアライメントし、ポイントクラウドデータと第１離散畳み込みカーネルとの幾何学的関係を明示的に定義する。これにより、離散畳み込み処理過程において、ポイントクラウドデータの空間的構造特徴をより良好に取得することができる。

本願の実施例によるポイントクラウドデータの処理方法を示す第１フローチャートである。 本願の実施例によるポイントクラウドデータの処理方法における補間処理を示す概略図である。 本願の実施例によるポイントクラウドデータの処理方法における補間処理を示す概略図である。 本願の実施例によるポイントクラウドデータの処理方法を示す第２フローチャートである。 本願の実施例によるポイントクラウドデータの処理方法における第１ネットワークの構造を示す概略図である。 本願の実施例によるポイントクラウドデータの処理方法を示す第３フローチャートである。 本願の実施例によるポイントクラウドデータの処理方法における第２ネットワークの構造を示す概略図である。 本願の実施例によるポイントクラウドデータの処理装置の構造を示す第１概略図である。 本願の実施例によるポイントクラウドデータの処理装置の構造を示す第２概略図である。 本願の実施例によるポイントクラウドデータの処理装置の構造を示す第３概略図である。 本願の実施例による電子機器の構造を示す概略図である。

以下、図面及び具体的な実施例を参照しながら、本願を更に詳しく説明する。

本願の実施例は、ポイントクラウドデータの処理方法を提供する。図１は、本願の実施例によるポイントクラウドデータの処理方法を示す第１フローチャートである。図１に示すように、前記方法は、以下を含む。

ステップ１０１において、ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得する。

ステップ１０２において、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得て、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表す。

ステップ１０３において、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得る。

ステップ１０４において、前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得る。

本実施例において、ポイントクラウドデータとは、測定装置により得られたターゲットシーンにおける対象の外観表面のポイントデータの集合であり、ターゲットシーンにおける対象の表面特性を表す大量の点の集合を指す。前記ポイントクラウドデータは、各点の三次元座標データを含む。実際の適用において、一実施形態として、前記ポイントクラウドデータは、Ｎ＊３の行列ベクトルで表されてもよく、Ｎは、ポイントクラウドデータにおける点の数を表す。各点の三次元座標は、１＊３の特徴ベクトルで表されてもよい。他の実施形態において、前記ポイントクラウドデータは、各点の三次元座標データ以外に、色情報を含んでもよい、例えば、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）の色データ（ＲＧＢデータと略称される）を含み、その場合、前記ポイントクラウドデータは、Ｎ＊６の行列で表され、各点のデータは、１＊６の行列で表されることができる。ここで、３つの次元のデータは、点の三次元座標を表すために用いられ、他の３つの次元のデータは、３つの色のデータを表すために用いられる。

ここで、前記ポイントクラウドデータは、記述情報を更に含む。前記記述情報は、ポイントクラウドデータにおける各点の特徴で表されてもよい。前記ポイントクラウドデータにおける各点の特徴は、法線方向、曲率などの特徴を含んでもよい。実際の適用において、前記記述情報は、ポイントクラウドデータの特徴を含む特徴ベクトルで表されてもよい。前記ポイントクラウドデータは、ポイントクラウドデータに対応する位置情報及び特徴ベクトルを含むことが理解されるべきである。

本実施例において、離散畳み込みカーネルの重みベクトル（本実施例における第１離散畳み込みカーネルの重みベクトル、後続の実施例における第２離散畳み込みカーネルの重みベクトル、及び第３離散畳み込みカーネルの重みベクトルを含む）は、三次元離散畳み込みカーネルの重みベクトルである。三次元離散畳み込みカーネルは、離散畳み込み処理過程において一つの立方体領域に対応し、該立方体領域の８つの頂点は、離散畳み込みカーネルの重みベクトル（本実施例における第１離散畳み込みカーネルの重みベクトル）に対応することが理解されるべきである。また、本実施例において、前記離散畳み込みカーネルの重みベクトルは、１つの重みベクトルを指しているわけではなく、少なくとも８つの重みベクトルを指すものであり、該８つの重みベクトルは、同一の離散畳み込みカーネルの重みベクトルであってもよく、複数の異なる離散畳み込みカーネルの重みベクトルであってもよいことが理解されるべきである。

本実施例において、離散畳み込みカーネルの重みベクトルは、畳み込みパラメータに対応し、前記畳み込みパラメータは、畳み込みカーネルの大きさ及び長さを含んでもよい。ここで、前記畳み込みカーネルの大きさ及び長さは、畳み込み操作の大きさの範囲を決定し、つまり、立方体領域の大きさ又は辺長を決定する。

本実施例において、ポイントクラウドデータにおける各点が離散的に分布している。従って、ポイントクラウドデータの空間的構造情報を十分に認識するために、本実施例において、まずステップ１０２に記載の技術的解決手段により、ポイントクラウドデータに対して補間処理を行い、それによって、ポイントクラウドデータと第１離散畳み込みカーネルの重みベクトルとを関連付ける。これにより、ポイントクラウドデータと第１離散畳み込みカーネルの重みベクトルの所在位置をアライメントする。従って、離散畳み込み処理過程において、ポイントクラウドデータの空間的構造特徴をより良好に取得することができる。

本願の任意選択的な実施例において、ステップ１０２において前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得ることは、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、所定の補間処理方式で第１重みデータを得ることであって、前記第１重みデータは、前記ポイントクラウドデータを、所定の条件を満たす第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記ポイントクラウドデータは、所定の条件を満たす前記第１離散畳み込みカーネルの重みベクトルで囲まれた特定の幾何的形状領域内に位置する、ことを含む。

本実施例において、所定の異なる補間処理方式でポイントクラウドデータに対して補間処理を行うことができる。ここで、補間処理は、補間関数で実現してもよく、つまり、異なる補間関数により、ポイントクラウドデータに対して補間処理を行う。例えば、前記補間処理方式は、トリリニア補間処理方式又はガウス補間処理方式であってもよい。つまり、トリリニア補間関数又はガウス関数により、ポイントクラウドデータに対して補間処理を行うことができる。実際の適用において、離散畳み込みカーネルの重みベクトル（本実施例において、第１離散畳み込みカーネルの重みベクトルである）及びポイントクラウドデータ（具体的には、ポイントクラウドデータの座標）を補間関数に入力し、第１重みデータを得ることができる。

本実施例において、異なる補間処理方式において、同じポイントクラウドデータに対応する、所定の条件を満たす第１離散畳み込みカーネルの重みベクトルは異なり、且つ特定の幾何的形状領域も異なる。ここで、所定の条件を満たす第１離散畳み込みカーネルの重みベクトルは、ポイントクラウドデータの所在する特定の幾何的形状領域を囲む離散畳み込みカーネルの重みベクトルである。

図２ａ及び図２ｂはそれぞれ、本願の実施例によるポイントクラウドデータの処理方法における補間処理を示す概略図である。一実施形態として、図２ａに示すように、補間処理方式がトリリニア補間処理方式である場合、特定の幾何的形状領域は、離散畳み込みカーネルに対応する立方体領域であり、つまり、８つの重みベクトル（本実施例において、第１離散畳み込みカーネルの重みベクトルである）で形成された立方体領域であり、立方体領域の８つの頂点はそれぞれ８つの重みベクトルに対応し、各立方体領域の８つの頂点に対応する８つの重みベクトルは、同一の離散畳み込みカーネルの重みベクトルであり得、複数の異なる離散畳み込みカーネルの重みベクトルであってもよい。そのため、点がある一つの立方体領域内に位置するのであれば、所定の条件を満たす第１離散畳み込みカーネルの重みベクトルは、図２ａに示すように、該点の所在する立方体領域の８つの頂点に対応する重みベクトルである。対応的に、トリリニア補間方式でポイントクラウドデータを処理することで得られた第１重みデータは、前記ポイントクラウドデータを、所在する立方体領域に対応する８つの重みベクトルのうちの各重みベクトルに対応する位置に割り当てる重みを表す。

もう１つの実施形態として、図２ｂに示すように、補間処理方式がガウス補間処理方式である場合、特定の幾何的形状領域は、離散畳み込みカーネルの重みベクトル（本実施例において第１離散畳み込みカーネルの重みベクトルである）を球心として所定の長さを半径とした球状領域である。ここで、異なる離散畳み込みカーネルの重みベクトルに対応する球状領域の半径は、同じであっても異なってもよい。実際の適用において、ポイントクラウドデータの所在する球状領域は、１つであってもよく、２つ又は２つ以上であってもよく、ゼロ個であってもよく、具体的には、図２ｂに示すとおりであることが理解されるべきである。ガウス補間方式でポイントクラウドデータを処理することで得られた第１重みデータは、前記ポイントクラウドデータを該ポイントクラウドデータの所在する球状領域の球心（即ち、１つの第１離散畳み込みカーネルの重みベクトルである）に割り当てる重みを表す。

図２ａに示すシーンにおいて、１つのポイントクラウドデータは、１つの離散畳み込みカーネルの８つの重みベクトルの全部と関連付けられてもよく、また、図２ｂに示すシーンにおいて、１つの離散畳み込みカーネルの一部の重みベクトル（例えば、１つの第１離散畳み込みカーネルの重みベクトル）と関連付けられてもよく、複数の離散畳み込みカーネルのうちの各離散畳み込みカーネルの一部の重みベクトルと関連付けられてもよい。例えば、ガウス補間処理方式において、各球状領域の半径が大きく、それによって、ポイントクラウドデータは、複数の異なる離散畳み込みカーネルの重みベクトルに対応する球状領域内に位置する。

本願の任意選択的な実施例において、ステップ１０３において、通常、離散畳み込み処理は、２つの離散シーケンスに対して、所定のルールで関係シーケンスを２つずつ乗算して加算する処理方式を指す。本実施例において、第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて前記ポイントクラウドデータに対して行われる離散畳み込み処理は、重み付き離散畳み込み処理方式に相当し、即ち、毎回の関係シーケンスを２つずつ乗算する処理において、いずれも、乗算結果に前記第１重みデータを乗算することである。本実施例において、第１離散畳み込みカーネルの重みベクトルとポイントクラウドデータの特徴ベクトルを２つずつ乗算し、それぞれの２つずつ乗算した結果に前記第１重みデータを乗算してから、加算する。

本願の任意選択的な実施例において、ステップ１０３において、前記第１離散畳み込み結果を得た後、前記方法は、正規化パラメータに基づいて前記第１離散畳み込み結果に対して正規化処理を行うことであって、前記正規化パラメータは、前記ポイントクラウドデータの所在する前記特定の幾何的形状領域内のポイントクラウドデータの数によって決定される、ことを更に含む。一例として、トリリニア補間処理方式を採用する場合、図２ａに示すある１つの立方体領域内のポイントクラウドの数は４つであり、該４つのポイントクラウドデータのうちの各ポイントクラウドデータに対して離散畳み込み処理を行って第１離散畳み込み結果を得た後、数値４に基づいて、該第１離散畳み込み結果に対して正規化処理を行う。もう１つの例として、ガウス補間処理方式を採用する場合、図２ｂに示す１つの球状領域内のポイントクラウドの数は２つであり、該２つのポイントクラウドデータのうちの各ポイントクラウドデータに対して離散畳み込み処理を行って第１離散畳み込み結果を得た後、数値２に基づいて、該第１離散畳み込み結果に対して正規化処理を行う。

一実施形態として、上記第１離散畳み込み処理及び正規化処理は、下記の式（１）で行ってもよい。

ただし、

は、出力された正規化処理後の離散畳み込み結果（本実施例において、正規化処理後の第１離散畳み込み結果である）を表す。

は、出力されたポイントクラウド位置を表す。Ｎ_ｐ′は、前記特定の幾何的形状領域内のポイントクラウドデータ数を表す。ｐ′は、離散畳み込みカーネルの重みベクトル（本実施例において、第１離散畳み込みカーネルの重みベクトルである）に対応する位置を表す。ｐ_δは、ポイントクラウドデータに対応する位置を表す。Ｔ(ｐ_δ,ｐ′)は、離散畳み込みカーネルの重みベクトル（本実施例において、第１離散畳み込みカーネルの重みベクトルである）に対応する位置、ポイントクラウドデータに対応する位置及び補間関数Ｔに基づいて決定された重みデータ（本実施例において、第１重みデータである）を表す。Ｗ(ｐ′)は、離散畳み込みカーネルの重みベクトル（本実施例において、第１離散畳み込みカーネルの重みベクトルである）を表す。

は、前記特定の幾何的領域内のポイントクラウドデータの特徴ベクトルを表す。

本実施例のステップ１０３において、第１重みデータ及び第１離散畳み込みカーネルの重みベクトルに基づいてポイントクラウドデータに対して第１離散畳み込み処理を行う。つまり、ポイントクラウドデータを、所定の条件を満たす第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てた後、第１離散畳み込みカーネルの重みベクトルにより、ポイントクラウドデータに対して離散畳み込み処理を行うことで、ポイントクラウドデータの空間的構造特徴を表す特徴ベクトルを得る。つまり、第１離散畳み込み結果を得る。

応用に適用する場合、ニューラルネットワークのタスクの相違に応じて、ニューラルネットワークによりポイントクラウドデータの空間的構造特徴を認識し、更にターゲットシーンにおける対象のタイプを決定することができる。前記対象のタイプは、例えば、車両、人間等であり得る。該ニューラルネットワークにより、ターゲットシーンにおける対象のタイプを直接出力することができる。ニューラルネットワークにより、ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を認識し、更に、ポイントクラウドデータにおける少なくとも１つのポイントデータのセマンティック情報を決定することもできる。ポイントデータのセマンティック情報は、ポイントデータのタイプを表すことができる。前記ポイントデータのタイプは、前記ポイントデータが属する対象情報を表す。例えば、ターゲットシーンに人間、車両などの複数の対象が含まれる場合、ポイントデータのセマンティック情報を認識することで、ポイントクラウドデータにおけるポイントデータに対応する対象が人間又は車両であることを決定することができる。従って、ポイントデータのセマンティック情報を認識することで、人間に対応する全てのポイントデータ及び車両に対応する全てのポイントデータを決定することができる。

本実施例のステップ１０４において、ポイントクラウドデータに対して第１離散畳み込み処理を行うことは、ポイントクラウドデータにおけるポイントデータと他のポイントデータとの差異を拡大する目的をしており、それによって、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることである。ここで、前記空間的構造特徴は、三次元空間シーンにおけるポイントクラウドデータの特徴を表す。前記ポイントクラウドデータの特徴は、法線方向、曲率等を含んでもよい。ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を決定し、具体的には、ポイントクラウドデータの法線方向、曲率等の特徴特征に基づいて、ポイントクラウドデータの所在する位置を決定することで、後続でターゲットシーンにおける対象及び該対象のタイプの決定、又はポイントクラウドデータにおける少なくとも１つのポイントデータのセマンティック情報の決定のために根拠を提供する。

これに基づいて、本実施例の技術的解決手段は、仮想現実、拡張現実、医療、航空、スマート運転、ロボットなどの分野に適用する。例えば、スマート運転分野において、走行車両の前方シーンのポイントクラウドデータを収集し、ポイントクラウドデータを本実施例における処理方式で認識することで、ポイントクラウドデータにおけるポイントデータが属する対象を決定し、更に各ポイントデータのセマンティックセグメンテーションを実現させることができる。又は、ポイントクラウドデータに対応するシーンにおける対象のタイプを決定し、走行車両の前方シーンに他の車両又は歩行者などが含まれることを認識することができ、走行車両により後続で実行される操作のために基礎データを提供する。

本願の実施例の技術的解決手段によれば、ポイントクラウドデータに対して補間処理を行い、ポイントクラウドデータと第１離散畳み込みカーネルとを関連付ける。つまり、ポイントクラウドデータを第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てることを表す重みを得る。これにより、離散のポイントクラウドデータと離散畳み込みカーネルの重みベクトルをアライメントし、ポイントクラウドデータと第１離散畳み込みカーネルとの幾何学的関係を明示的に定義する。これにより、離散畳み込み処理過程において、ポイントクラウドデータの空間的構造特徴をより良好に取得することができる。

本願の実施例は、ポイントクラウドデータの処理方法を更に提供する。図３は、本願の実施例によるポイントクラウドデータの処理方法を示す第２フローチャートである。図３に示すように、前記方法は以下を含む。

ステップ２０１において、ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得する。

ステップ２０２において、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得て、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記第１離散畳み込みカーネルの重みベクトルは、ｎ組であり、前記第１重みデータは、ｎ組であり、ｎは、２以上の整数である。

ステップ２０３において、第ｋ組の第１重みデータ及び第ｋ組の第１畳み込みパラメータに基づいて、第ｋ組の第１離散畳み込みカーネルの重みベクトル及び前記ポイントクラウドデータに対してｋ番目の第１離散畳み込み処理を行い、ｋ番目の第１離散畳み込み結果を得て、前記第ｋ組の第１畳み込みパラメータは、ｋ番目の第１離散畳み込み処理の大きさの範囲に対応し、ｋは、１以上ｎ以下の整数である。

ステップ２０４において、ｎ個の第１離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定する。

本実施例のステップ２０１からステップ２０２に関する詳細な説明は、具体的には、前記実施例におけるステップ１０１からステップ１０２に関する詳細な説明を参照することができ、ここで、詳細な説明を省略する。同様に、本実施例の各ステップにおける補間処理及び離散畳み込み処理に関する詳細な説明は、具体的には、前記実施例におけるステップ１０２からステップ１０３に関する詳細な説明を参照することができ、ここで、詳細な説明を省略する。

本願の任意選択的な実施例において、ステップ２０２において、前記第１離散畳み込みカーネルの重みベクトルは、ｎ組であり、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得ることは、前記ポイントクラウドデータ及び第ｋ組の第１離散畳み込みカーネルの重みベクトルに基づいて、それぞれの前記ポイントクラウドデータに対して補間処理を行い、第ｋ組の第１重みデータを得ることであって、ｋは、１以上ｎ以下の整数であり、ｎは、２以上の整数である、ことを含む。実際の適用において、第１離散畳み込みカーネルの重みベクトルは、ｎ組を有してもよい。ポイントクラウドデータ及びｎ組の第１離散畳み込みカーネルの重みベクトルのうちの第ｋ組の第１離散畳み込みカーネルの重みベクトルを、それぞれ補間関数に入力し、第ｋ組の第１重みデータを得る。つまり、ポイントクラウドデータ及びｎ組の第１離散畳み込みカーネルの重みベクトルをそれぞれ補間関数に入力することで、ｎ組の第１重みデータを得ることができる。

本実施例において、三次元離散畳み込みカーネルは、離散畳み込み処理過程において一つの立方体領域に対応し、該立方体領域の８つの頂点は、８つの重みベクトル（第１離散畳み込みカーネルの重みベクトルと表記する）に対応する。各三次元離散畳み込みカーネルは、畳み込みパラメータに対応している。つまり、該三次元離散畳み込みカーネルに対応する第１離散畳み込みカーネルの重みベクトルは、畳み込みパラメータに対応している。前記畳み込みパラメータは、畳み込みカーネルの大きさ及び長さを含んでもよい。ここで、前記畳み込みカーネルの大きさ及び長さは、畳み込み操作の大きさの範囲を決定し、つまり、立方体領域の大きさ又は辺長を決定する。

本実施例において、ポイントクラウドデータに対して、第ｋ組の第１重みデータ及び第ｋ組の第１畳み込みパラメータを採用して、第ｋ組の第１離散畳み込みカーネルの重みベクトル及びポイントクラウドデータに対して、ｋ番目の第１離散畳み込み処理を行い、ｋ番目の第１離散畳み込み結果を得る。具体的な第１離散畳み込み処理過程は、前記実施例における記載を参照することができ、ここで、詳細な説明を省略する。実際の適用において、本実施例における補間処理及び離散畳み込み処理は、ネットワークにおける補間離散畳み込み層により実現することができる。本実施例において、ｎ個の補間離散畳み込み層により、同一のポイントクラウドデータに対してそれぞれ補間処理、離散畳み込み処理を行い、ｎ個の第１離散畳み込み結果を得る。

ここで、前記第ｋ組の第１畳み込みパラメータは、ｋ番目の第１離散畳み込み処理の大きさの範囲に対応する。つまり、ｎ組の第１畳み込みパラメータのうちの少なくとも一部の第１畳み込みパラメータが対応する離散畳み込み処理の大きさの範囲は異なる。前記第１畳み込みパラメータが大きいほど、離散畳み込み処理の大きさの範囲は大きくなり、受容野は大きくなり、対応的に、前記第１畳み込みパラメータが小さいほど、離散畳み込み処理の大きさの範囲は、小さくなり、受容野は小さくなることが理解されるべきである。本実施例において、小さい第１畳み込みパラメータが対応する一組の第１離散畳み込みカーネルの重みベクトルにより、ポイントクラウドデータに対して離散畳み込み処理を行い、ターゲット対象の表面の精細な空間的構造特徴を得ることができる。大きい第１畳み込みパラメータが対応する一組の第１離散畳み込みカーネルの重みベクトルにより、ポイントクラウドデータに対して離散畳み込み処理を行い、背景の空間的構造特徴を得ることができる。本実施例におけるｎ個の離散畳み込み層を含むネットワークは、ｎ組の第１離散畳み込みカーネルの重みベクトルのうちの第ｋ組の第１離散畳み込みカーネルの重みベクトル及び対応する第ｋ組の第１畳み込みパラメータにより、ポイントクラウドデータに対してそれぞれ補間処理及び離散畳み込み処理を行うことができる。該ネットワークは、複数の受容野を有するニューラルネットワークであり、ポイントクラウドデータの表面の精細な空間的構造特徴及び背景情報の空間的構造特徴を取得することができ、後続のポイントクラウドデータのタイプ、即ちターゲットシーンにおける対象のタイプ（即ち、分類タスク）の決定に寄与し、分類タスクの正確性を向上させることができる。

上記実施形態において、ポイントクラウドデータに対して、ｎ組の第１離散畳み込みカーネルの重みベクトル及びｎ組の第１畳み込みパラメータに基づいて、並行方式で補間処理及び離散畳み込み処理を一回行い、得られたｎ個の第１離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定する。他の実施形態において、ポイントクラウドデータの空間的構造特徴をより良好に認識するために、複数回の補間処理及び離散畳み込み処理を順次行うことができる。各回の補間処理及び離散畳み込み処理過程において、複数組の第１離散畳み込みカーネルの重みベクトル及び複数組の第１畳み込みパラメータに基づいて並行方式で補間処理及び離散畳み込み処理を行うことができる。

本願の任意選択的な実施例において、前記ｎ個の第１離散畳み込み結果に基づいて前記ポイントクラウドデータの空間的構造特徴を決定することは、第１処理データ及び第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して補間処理を行い、第２重みデータを得ることであって、前記第２重みデータは、前記第１処理データを前記第２離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記第１処理データは、前回の離散畳み込み処理の結果によって決定され、前回の離散畳み込み処理の結果がｎ個の第１離散畳み込み結果である場合、前記第１処理データは、前記ｎ個の第１離散畳み込み結果によって決定される、ことと、前記第２重みデータ及び前記第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して第２離散畳み込み処理を行い、第２離散畳み込み結果を得ることと、前記第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を得ることと、を含む。

一実施形態として、本実施例において、ｎ個の第１離散畳み込み結果を整合し、第１処理データを得る。実際の適用において、ｎ個の第１離散畳み込み結果のうちの各第１離散畳み込み結果内の、対応するチャネルのデータに対して加重加算処理を行い、第１処理データを得ることができる。更に、第２離散畳み込みカーネルの重みベクトルを利用して前記第１処理データに対して補間処理を行い、また、第２離散畳み込みカーネルの重みベクトル及び第２重みデータに基づいて、前記第１データに対して離散畳み込み処理を行い、第２離散畳み込み結果を得ることができる。ここで、補間処理及び離散畳み込み処理の具体的な実現形態は、前記実施例と同じであり、ここで、詳細な説明を省略する。他の実施形態において、前回の離散畳み込み処理の結果に基づいて、前記第１処理データを決定することができる。前記第１処理データの決定形態は、前記実施形態と類似しており、ここで、詳細な説明を省略する。

本実施例において、前記第２離散畳み込みカーネルの重みベクトルはｌ組であり、前記第２重みデータは、ｌ組であり、ｌは、２以上の整数であり、前記第２重みデータ及び前記第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して離散畳み込み処理を再実行することは、第ｍ組の第２重みデータ及び第ｍ組の第２畳み込みパラメータに基づいて、第ｍ組の第２離散畳み込みカーネルの重みベクトル及び前記第１処理データに対して、ｍ番目の第２離散畳み込み処理を行い、ｍ番目の第２離散畳み込み結果を得ることであって、前記第ｍ組の第２畳み込みパラメータは、ｍ番目の離散畳み込み処理の大きさの範囲に対応し、ｍは、１以上ｌ以下の整数である、ことを含み、第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を得ることは、ｌ個の第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定することを含む。ここで、ｌの数値は、ｎの数値と同じであるか又は異なる。

ポイントクラウドデータに対して２回の補間処理及び離散畳み込み処理を順次行うことを例とすると、ポイントクラウドデータに対して、まず、ｎ組の第１離散畳み込みカーネルの重みベクトルのうちの第ｋ組の第１離散畳み込みカーネルの重みベクトルによって、それぞれ補間処理を行い、ｎ組の第１離散畳み込みカーネルの重みベクトルのうちの第ｋ組の第１離散畳み込みカーネルの重みベクトル及びｎ組の第１畳み込み層パラメータのうちの第ｋ組の第１畳み込みパラメータによりそれぞれ離散畳み込み処理を行った後、ｎ個の第１離散畳み込み結果を得る。更に、ｎ個の第１離散畳み込み結果を第１処理データとなるように整合した後、ｌ組の第２離散畳み込みカーネルの重みベクトルのうちの第ｍ組の第２離散畳み込みカーネルの重みベクトルによって、補間処理を行い、ｌ組の第２離散畳み込みカーネルの重みベクトルのうちの第ｍ組の第２離散畳み込みカーネルの重みベクトル及びｌ組の第２畳み込みパラメータのうちの第ｍ組の第２畳み込みパラメータによって、それぞれ離散畳み込み処理を行い、ｌ個の第２離散畳み込み結果を得て、ｌ個の第２離散畳み込み過程に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定する。つまり、本実施例におけるポイントクラウドデータに対して、補間−離散畳み込み−補間−離散畳み込み処理を行い、各回の補間処理及び離散畳み込み処理において、更に、複数の経路により、ポイントクラウドデータに対して補間処理及び離散畳み込み処理を行う。実際の適用において、繰返し処理の回数は、実際の状況によって決まってもよく、例えば３回であってもよい。

以下、具体的なネットワーク構造を参照しながら、詳しく説明する。

図４は、本願の実施例によるポイントクラウドデータの処理方法における第１ネットワークの構造を示す概略図である。３組の補間畳み込み層を含むことを例として説明すると、各組の補間畳み込み層は、入力データに対してそれぞれ補間処理及び離散畳み込み処理を行うことができる。つまり、各組の補間畳み込み層は、本実施例における補間処理及び離散畳み込み処理を実行することができる。図４に示すように、ポイントクラウドデータをそれぞれ３つの補間畳み込みブロック（ＩｎｔｅｒｐＣｏｎｖ Ｂｌｏｃｋ）に入力して補間処理及び離散畳み込み処理を行う。ここで、各補間畳み込みブロックにそれぞれ３つの補間畳み込み層が含まれる。順に、１＊１＊１の補間畳み込み層（ＩｎｔｅｒｐＣｏｎｖ）、３＊３＊３の補間畳み込み層及び１＊１＊１の補間畳み込み層が含まれる。ここで、１＊１＊１の補間畳み込み層は、チャネル（ｃｈａｎｎｅｌ）を調整するために用いられる。異なる補間畳み込みブロックにおける３＊３＊３の補間畳み込み層が対応する畳み込みパラメータは異なる。例えば、１番目の補間畳み込みブロックにおける３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．４であり、２番目の補間畳み込みブロックにおける３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．２であり、３番目の補間畳み込みブロックにおける３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．１である。該例において、畳み込みパラメータｌは、畳み込みカーネル長さ（ｋｅｒｎｅｌ ｌｅｎｇｔｈ）を表す。一例として、畳み込みカーネル長さの２倍（ｋｅｒｎｅｌ ｌｅｎｇｔｈ＊２）は、図２に示す８つの重みベクトルで形成される立方体の辺長を表すことができる。

該例において、入力されたポイントクラウドデータは、Ｎ＊３の行列ベクトルで表される。ポイントクラウドデータに対して、それぞれ３本の経路の１＊１＊１の補間畳み込み層により補間畳み込み処理を行った後に得られたデータは、３２チャネルのデータであり、Ｎ＊３２と表記する。更に、３２個のチャネルのデータ（即ち、Ｎ＊３２）をそれぞれ３＊３＊３の補間畳み込み層に入力し、得られたデータは、元データの１／２までサブサンプリングされた６４個のチャネルのデータであり、Ｎ／２＊６４と表記する。更に、元データの１／２までサブサンプリングされた６４個のチャネルのデータ（Ｎ／２＊６４）を１＊１＊１の補間畳み込み層に入力して補間畳み込み処理を行った後に得られた、元データの１／２までサブサンプリングされた１２８個のチャネルのデータを、Ｎ／２＊１２８と表記する。ここで、上記処理過程は、１つのポイントクラウド処理ブロックにおける処理過程と表記してもよい。該ポイントクラウド処理ブロックに、３つの補間畳み込みブロック（ＩｎｔｅｒｐＣｏｎｖ Ｂｌｏｃｋ）が含まれてもよい。該例において、少なくとも２つのポイントクラウド処理ブロックにより、ポイントクラウドデータに対して補間畳み込み処理を繰り返して行うことができる。図４に示すように、２つのポイントクラウド処理ブロックにより、ポイントクラウドデータに対して補間畳み込み処理を繰り返して行う。各ポイントクラウド処理ブロックにおける補間畳み込みブロックの数は、同じであっても異なってもよい。該例において、２つのポイントクラウド処理ブロックにおける補間畳み込みブロックの数は、同じであり、いずれも３つである。３つのＮ／２＊１２８データを整合した後、再び、ポイントクラウド処理ブロックにおける３つの補間畳み込みブロックにより、整合されたＮ／２＊１２８データをそれぞれ処理する。処理過程は、前記１番目のポイントクラウドデータブロックの処理過程と類似する。その相違点は以下の通りであり、即ち、２番目のポイントクラウド処理ブロックにおける補間畳み込みブロックに対応する畳み込みパラメータは、１番目のポイントクラウド処理ブロックにおける補間畳み込みブロックに対応する畳み込みパラメータと異なってもよく、２番目のポイントクラウド処理ブロックにおける補間畳み込みブロックに対応する畳み込みパラメータは、１番目のポイントクラウド処理ブロックにおける補間畳み込みブロックに対応する畳み込みパラメータより大きい。例えば、２番目のポイントクラウド処理ブロックにおける１番目の補間畳み込みブロックにおいて、３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．８である。１番目のポイントクラウド処理ブロックにおける１番目の補間畳み込みブロックにおいて、３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．４である。２番目のポイントクラウド処理ブロックにおける２番目の補間畳み込みブロックにおいて、３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．４である。１番目のポイントクラウド処理ブロックにおける２番目の補間畳み込みブロックにおいて、３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．２である。本実施例において、ポイントクラウドデータに対して補間処理及び離散畳み込み処理を繰り返して行う過程において（即ち、直列的な補間畳み込み処理過程において）、各回の離散畳み込み処理に対応する畳み込みパラメータは、次第に多くなることが理解されるべきである。異なる離散畳み込みカーネルの重みベクトル及び畳み込みパラメータを利用してポイントクラウドデータに対してそれぞれ補間処理及び離散畳み込み処理を行う過程において（即ち、並列的な補間畳み込み処理過程において）、異なる離散畳み込み処理に対応する畳み込みパラメータは異なってもよい。

更に、図４に示すように、２番目のポイントクラウド処理ブロックで得られた３つのＮ／４＊２５６データを整合する。具体的には、３つのＮ／４＊２５６に対してチャネル数を加算した後、７６８個のチャネルのデータを得て、Ｎ／４＊７６８と表記する。Ｎ／４＊７６８に対して、１＊１＊１の補間畳み込み層により、補間畳み込み処理を行い、１０２４個のチャネルのデータを得て、Ｎ／４＊１０２４と表記する。最大プーリング層（Ｍａｘｐｏｏｌｉｎｇ）により、Ｎ／４＊１０２４に対して、最大プーリング処理を行い、グローバル特徴ベクトルを表すデータを得て、１＊１０２４と表記する。全結合層（ＦＣ）により、１＊１０２４を処理し、４０個のチャネルのデータを得て、１＊４０と表記する。各チャネルは１つの次元に対応し、つまり、４０個の次元のデータを出力し、各次元は、１つのタイプに対応する。

本願の任意選択的な実施例において、前記方法は、前記ポイントクラウドデータの空間的構造特徴に基づいて、前記ターゲットシーンにおける対象のタイプを決定するステップ２０５を更に含む。

本実施例において、出力された、ポイントクラウドデータの空間的構造特徴を表す複数の次元のデータに基づいて、前記ポイントクラウドデータに対応する対象のタイプを決定し、つまり、ターゲットシーンにおける対象のタイプを決定する。具体的には、前記複数の次元のデータのうちの数値が最も大きい次元のデータに基づいて、前記対象のタイプを決定する。例えば、図４に示す例において、４０個の次元のデータを出力し、各次元のデータは、１つのタイプに対応する。４０個の次元のデータから、数値が最も大きい次元のデータを決定し、数値が最も大きい次元のデータに対応するタイプを前記対象のタイプと決定する。

本願の実施例の技術的解決手段によれば、ポイントクラウドデータに対して補間処理を行うことで、ポイントクラウドデータと第１離散畳み込みとを関連付けるための重みデータを得て、つまり、ポイントクラウドデータを第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表すものを得る。これにより、離散したポイントクラウドデータと離散畳み込みカーネルの重みベクトルをアライメントする。離散畳み込み処理過程においてポイントクラウドデータの空間的構造特徴をより良好に取得することに寄与する。一方で、異なる畳み込みパラメータにより、ポイントクラウドデータに対してそれぞれ離散畳み込み処理を行うことで、ポイントクラウドデータの表面の精細な空間的構造特徴及び背景情報の空間的構造特徴を取得することを実現させ、ポイントクラウドデータに対応する対象の分類の正確性を向上させることができる。

本願の実施例は、ポイントクラウドデータの処理方法を更に提供する。図５は、本願の実施例によるポイントクラウドデータの処理方法を示す第３フローチャートである。図５に示すように、前記方法は以下を含む。

ステップ３０１において、ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得する。

ステップ３０２において、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得て、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表す。

ステップ３０３において、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得る。

ステップ３０４において、前記第１離散畳み込み結果に対して第１アップサンプリング処理を行い、第１アップサンプリング処理結果を得る。

ステップ３０５において、前記第１アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得る。

本実施例のステップ３０１からステップ３０２に関する詳細な説明は、具体的には、前記実施例におけるステップ１０１からステップ１０２に関する詳細な説明を参照することができ、ここで、詳細な説明を省略する。同様に、本実施例の各ステップにおける補間処理及び離散畳み込み処理に関する詳細な説明は、具体的には、前記実施例におけるステップ１０２からステップ１０３に関する詳細な説明を参照することができ、ここで、詳細な説明を省略する。

本実施例において、ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を抽出し、後続で、少なくとも１つのポイントデータの空間的構造特徴に基づいて、少なくとも１つのポイントデータのセマンティック情報を決定することを可能にするために、本実施例において、ポイントクラウドデータに対して第１離散畳み込み処理を行った後、離散畳み込み処理過程に大きさの縮小が伴うため、前記第１離散畳み込み結果に対して第１アップサンプリング処理を行い、第１離散畳み込み結果の大きさを復元する必要がある。つまり、第１離散畳み込み結果の大きさを拡大し、第１アップサンプリング処理結果を得て、前記第１アップサンプリング処理結果に基づいて前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得る。実際の適用において、補間処理及び離散畳み込み処理に対応する構造は、エンコーダ構造と呼ばれてもよく、アップサンプリング処理に対応する構造は、デコーダ構造と呼ばれてもよい。

上記実施形態において、ポイントクラウドデータに対して補間処理、離散畳み込み処理及びアップサンプリング処理を一回行う。他の実施形態において、ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴をより良好に認識するために、複数回の補間処理、離散畳み込み処理及びアップサンプリング処理を順に行うことができる。

本願の任意選択的な実施例において、前記第１アップサンプリング処理結果に基づいて前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得ることは、前回のアップサンプリング処理の結果及び第３離散畳み込みカーネルの重みベクトルに基づいて、前記前回のアップサンプリング処理の結果に対して補間処理を行い、第３重みデータを得ることであって、前記第３重みデータは、前記前回のアップサンプリング処理の結果を前記第３離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前回のアップサンプリング処理が、第１離散畳み込み結果に対して行われた第１アップサンプリング処理である場合、前回のアップサンプリング処理の結果は、第１アップサンプリング結果である、ことと、前記第３重みデータ及び前記第３離散畳み込みカーネルの重みベクトルに基づいて、前記前回のアップサンプリング処理の結果に対して第３離散畳み込み処理を行い、第３離散畳み込み結果を得ることと、前記第３離散畳み込み結果に対して第２アップサンプリング処理を行い、第２アップサンプリング処理結果を得ることと、前記第２アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得ることと、を含む。

ポイントクラウドデータに対して補間処理、第１離散畳み込み処理及び第１アップサンプリング処理を一回行った後、補間処理、第２離散畳み込み処理及び第２アップサンプリング処理を繰り返して行うことができる。繰り返し回数は、実際の状況に応じて予め設定されてもよい。

以下、具体的なネットワーク構造を参照しながら、詳しく説明する。

図６は、本願の実施例によるポイントクラウドデータの処理方法における第２ネットワークの構造を示す概略図である。図６に示すように、エンコーダと、デコーダと、を備える。前記エンコーダは、複数の補間畳み込み層（ＩｎｔｅｒｐＣｏｎｖ）を含み、前記複数の補間畳み込み層により、ポイントクラウドデータに対して順に補間処理及び離散畳み込み処理を行う。各補間畳み込み層は、本実施例における補間処理及び離散畳み込み処理過程を実行することができる。ここで、前記複数の補間畳み込み層に対応する畳み込みパラメータは、異なってもよい。一例として、前記複数の補間畳み込み層のそれぞれに対応する畳み込みパラメータは、段階的に増加してもよい。例えば、図６に示すように、１番目の３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．０５である。２番目の３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．１である。３番目の３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．２である。４番目の３＊３＊３の補間畳み込み層に対応する畳み込みパラメータｌ＝０．４である。該例において、畳み込みパラメータｌは、畳み込みカーネル長さ（ｋｅｒｎｅｌ ｌｅｎｇｔｈ）を表す。一例として、畳み込みカーネル長さの２倍（ｋｅｒｎｅｌ ｌｅｎｇｔｈ＊２）は、図２に示す８つの重みベクトルで形成される立方体の辺長である。

該例において、入力されたポイントクラウドデータは、Ｎ＊３の行列ベクトルで表される。ポイントクラウドデータに対して、１番目の３＊３＊３の補間畳み込み層により補間畳み込み処理を行った後に得られたデータは、元データの１／２にサブサンプリングされた１６個のチャネルのデータであり、Ｎ／２＊１６と表記される。元データの１／２にサブサンプリングされた１６個のチャネルのデータ（Ｎ／２＊１６）を１＊１＊１の補間畳み込み層に入力して補間畳み込み処理を行った後に、チャネル数が３２個のチャネルに調整されたデータを得て、Ｎ／２＊３２と表記する。本願の各実施例において、１＊１＊１の補間畳み込み層は、いずれもチャネル数の調整に用いられることが理解されるべきである。Ｎ／２＊３２のデータを２番目の３＊３＊３の補間畳み込み層に入力して補間畳み込み処理を行い、元データの１／４にサブサンプリングされた３２個のチャネルのデータを得て、Ｎ／４＊３２と表記する。Ｎ／４＊３２のデータを１＊１＊１の補間畳み込み層に入力して補間畳み込み処理を行った後に、チャネル数が６４個のチャネルに調整されたデータを得て、Ｎ／４＊６４と表記する。Ｎ／４＊６４のデータを３番目の３＊３＊３の補間畳み込み層に入力して補間畳み込み処理を行った後に得られたデータは、元データの１／８にサブサンプリングされた３２個のチャネルのデータであり、Ｎ／８＊６４と表記される。Ｎ／８＊６４のデータを１＊１＊１の補間畳み込み層に入力して補間畳み込み処理を行った後、チャネル数が１２８個のチャネルに調整されたデータを得て、Ｎ／８＊１２８と表記する。Ｎ／８＊１２８のデータを４番目の３＊３＊３の補間畳み込み層に入力して補間畳み込み処理を行った後に得られたデータは、元データの１／１６にサブサンプリングされた１２８個のチャネルのデータであり、Ｎ／１６＊１２８と表記される。Ｎ／１６＊１２８のデータを１＊１＊１の補間畳み込み層に入力して補間畳み込み処理を行った後、チャネル数が２５６個のチャネルに調整されたデータを得て、Ｎ／１６＊２５６と表記する。以上は、ネットワークのエンコーダ構造の処理過程としてもよい。

更に、Ｎ／１６＊２５６のデータに対してアップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）処理を行った後に得られたデータは、元データの１／８にアップサンプリングされた２５６個のチャネルのデータであり、Ｎ／８＊２５６と表記される。Ｎ／８＊２５６のデータに対してアップサンプリング処理を行った後に得られたデータは、元データの１／４にアップサンプリングされた１２８個のチャネルのデータであり、Ｎ／４＊１２８と表記される。Ｎ／４＊１２８のデータに対してアップサンプリング処理を行った後に得られたデータは、元データの１／２にアップサンプリングされた１２８個のチャネルのデータであり、Ｎ／２＊１２８と表記される。Ｎ／２＊１２８のデータに対してアップサンプリング処理を行った後に得られたデータは、元データにアップサンプリングされた１２８個のチャネルのデータであり、Ｎ＊１２８と表記される。Ｎ＊１２８のデータを１＊１＊１の補間畳み込み層に入力して補間畳み込み処理を行った後、Ｎ＊ｍのデータを得る。ここで、ｍは、ポイントクラウドデータにおけるポイントクラウドの数として表されてもよい。つまり、各ポイントクラウドに対応する複数の次元の特徴データを得る。

本願の任意選択的な実施例において、前記方法は、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴に基づいて、前記少なくとも１つのポイントデータのセマンティック情報を決定するステップ３０６を更に含む。

本実施例において、出力された、少なくとも１つのポイントデータの空間的構造特徴を表す複数の次元のデータに基づいて、前記少なくとも１つのポイントデータのセマンティック情報を決定する。つまり、前記少なくとも１つのポイントデータのタイプを決定する。前記ポイントデータのタイプは、前記ポイントデータが属する対象情報を表す。例えば、ターゲットシーンに人間、車両などの複数の対象が含まれる場合、ポイントデータのセマンティック情報を認識することで、ポイントクラウドデータにおけるポイントデータに対応する対象が人間又は車両であると決定することができる。従って、ポイントデータのセマンティック情報を認識することで、人間に対応する全てのポイントデータ及び車両に対応する全てのポイントデータを決定することができる。具体的には、前記少なくとも１つのポイントデータのうちの各ポイントデータに対応する複数の次元の特徴データのうちの数値が最も大きい次元のデータに基づいて、該ポイントデータのセマンティック情報を決定する。例えば、図６に示す例において、各ポイントデータについて、Ｎ個の次元の特徴データを出力する。各次元のデータは、１つのタイプに対応してもよい。Ｎ個の次元のデータから、数値が最も大きい次元のデータを決定し、数値が最も大きい次元のデータに対応するタイプを該ポイントデータのセマンティック情報と決定する。

本願の実施例の技術的解決手段によれば、ポイントクラウドデータに対して補間処理を行うことで、ポイントクラウドデータと第１離散畳み込みとを関連付けるための重みデータを得て、つまり、ポイントクラウドデータを第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表すものを得る。これにより、離散したポイントクラウドデータと離散畳み込みカーネルの重みベクトルをアライメントする。離散畳み込み処理過程においてポイントクラウドデータの空間的構造特徴をより良好に取得し、ポイントクラウドデータのセマンティック情報をより良好に取得することに寄与する。

本願の実施例は、ポイントクラウドデータの処理装置を更に提供する。図７は、本願の実施例によるポイントクラウドデータの処理装置の構造を示す第１概略図である。図７に示すように、前記装置は、取得ユニット４１と、補間処理ユニット４２と、特徴取得ユニット４３とを備え、
前記取得ユニット４１は、ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得するように構成され、
前記補間処理ユニット４２は、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得るように構成され、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、
前記特徴取得ユニット４３は、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得て、前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得るように構成される。

本実施例において、任意選択的に、前記補間処理ユニット４２は、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、所定の補間処理方式で第１重みデータを得るように構成され、前記第１重みデータは、前記ポイントクラウドデータを、所定の条件を満たす第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記ポイントクラウドデータは、所定の条件を満たす前記第１離散畳み込みカーネルの重みベクトルで囲まれた特定の幾何的形状領域内に位置する。

任意選択的に、前記特徴取得ユニット４３は更に、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して第１離散畳み込み処理を行い、第１離散畳み込み結果を得て、正規化パラメータに基づいて、第１離散畳み込み結果に対して正規化処理を行うように構成され、前記正規化パラメータは、前記ポイントクラウドデータの所在する前記特定の幾何的形状領域内のポイントクラウドデータの数によって決まり、前記特徴取得ユニット４３は更に、正規化処理を行った結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得るように構成される。

一実施形態として、前記第１離散畳み込みカーネルの重みベクトルは、ｎ組であり、前記第１重みデータは、ｎ組であり、ｎは、２以上の整数であり、前記特徴取得ユニット４３は、第ｋ組の第１重みデータ及び第ｋ組の第１畳み込みパラメータに基づいて、第ｋ組の第１離散畳み込みカーネルの重みベクトル及び前記ポイントクラウドデータに対してｋ番目の第１離散畳み込み処理を行い、ｋ番目の第１離散畳み込み結果を得るように構成され、前記第ｋ組の第１畳み込みパラメータは、ｋ番目の第１離散畳み込み処理の大きさの範囲に対応し、ｋは、１以上ｎ以下の整数であり、前記特徴取得ユニット４３は、ｎ個の第１離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定するように構成される。

本願の任意選択的な実施例において、前記補間処理ユニット４２は更に、第１処理データ及び第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して補間処理を行い、第２重みデータを得るように構成され、前記第２重みデータは、前記第１処理データを前記第２離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記第１処理データは、前回の離散畳み込み処理の結果によって決定され、前回の離散畳み込み処理の結果がｎ個の第１離散畳み込み結果である場合、前記第１処理データは、前記ｎ個の第１離散畳み込み結果によって決定され、
前記特徴取得ユニット４３は更に、前記第２重みデータ及び前記第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して第２離散畳み込み処理を行い、第２離散畳み込み結果を得て、前記第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を得るように構成される。

ここで、任意選択的に、前記第２離散畳み込みカーネルの重みベクトルはｌ組であり、前記第２重みデータは、ｌ組であり、ｌは、２以上の整数であり、前記特徴取得ユニット４３は、第ｍ組の第２重みデータ及び第ｍ組の第２畳み込みパラメータに基づいて、第ｍ組の第２離散畳み込みカーネルの重みベクトル及び前記第１処理データに対して、ｍ番目の第２離散畳み込み処理を行い、ｍ番目の第２離散畳み込み結果を得るように構成され、前記第ｍ組の第２畳み込みパラメータは、ｍ番目の離散畳み込み処理の大きさの範囲に対応し、ｍは、１以上ｌ以下の整数であり、前記特徴取得ユニット４３は更に、ｌ個の第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定するように構成される。

本願の任意選択的な実施例において、図８に示すように、前記装置は、前記ポイントクラウドデータの空間的構造特徴に基づいて、前記ターゲットシーンにおける対象のタイプを決定するように構成される第１決定ユニット４４を更に備える。

もう１つの実施形態として、前記特徴取得ユニット４３は、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得て、前記第１離散畳み込み結果に対して第１アップサンプリング処理を行い、第１アップサンプリング処理結果を得て、前記第１アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得るように構成される。

本願のもう１つの任意選択的な実施例において、任意選択的に、前記補間処理ユニット４２は更に、前回のアップサンプリング処理の結果及び第３離散畳み込みカーネルの重みベクトルに基づいて、前記前回のアップサンプリング処理の結果に対して補間処理を行い、第３重みデータを得るように構成され、前記第３重みデータは、前記前回のアップサンプリング処理の結果を前記第３離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前回のアップサンプリング処理が、第１離散畳み込み結果に対して行われた第１アップサンプリング処理である場合、前回のアップサンプリング処理の結果は、第１アップサンプリング結果である。

前記特徴取得ユニット４３は更に、前記第３重みデータ及び前記第３離散畳み込みカーネルの重みベクトルに基づいて、前記前回のアップサンプリング処理の結果に対して第３離散畳み込み処理を行い、第３離散畳み込み結果を得て、前記第３離散畳み込み結果に対して第２アップサンプリング処理を行い、第２アップサンプリング処理結果を得て、前記第２アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得るように構成される。

本願の任意選択的な実施例において、図９に示すように、前記装置は、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴に基づいて、前記少なくとも１つのポイントデータのセマンティック情報を決定するように構成される第２決定ユニット４５を更に備える。

本願の実施例において、前記装置における取得ユニット４１、補間処理ユニット４２、特徴取得ユニット４３、第１決定ユニット４４及び第２決定ユニット４５は、実際の適用において、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロ制御ユニット（ＭＣＵ：Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により実現可能である。

上記実施例で提供されるポイントクラウドデータの処理装置がポイントクラウドデータ処理を行う場合、単に上述した各プログラムモジュールの区分を持って例を挙げて説明したが、実際の適用においては、必要に応じて上記処理を異なる機能モジュールで完成させ、即ち、設備の内部構造を様々なプログラムモジュールに区分することによって、上述した全部又は一部の処理を完成させることができることに留意されたい。なお、上記実施例で提供されるポイントクラウドデータの処理装置は、ポイントクラウドデータの処理方法と同一の構想に属し、その具体的な実現過程は、方法実施例を参照されたい。ここで詳細な説明を省略する。

本願の実施例は、電子機器を更に提供する。図１０は、本願の実施例による電子機器の構造を示す概略図である。図１０に示すように、メモリ５２と、プロセッサ５１と、メモリ５２に記憶されてプロセッサ５１で実行される可能なコンピュータプログラムと、を備え、前記プロセッサ５１が前記プログラムを実行する時、本願の実施例に記載のポイントクラウドデータの処理方法のステップを実現させる。

任意選択的に、電子機器における各ユニットはバスシステム５３によって結合される。バスシステム５３は、これらの部材間の接続及び通信を実現するためのものであることが理解されるべきである。バスシステム５３はデータバスを含む以外、電源バス、制御バス及び状態信号バスを含む。しかしながら、明確に説明するために、図１０において、全てのバスをバスシステム５３と表記する。

理解すべき点として、メモリ５２は、揮発性メモリ又は不揮発性メモリであってもよいし、揮発性メモリと不揮発性メモリの両方であってもよい。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ（登録商標）：ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁気面メモリ、光ディスク、又は読み出し専用型光ディスク（ＣＤ−ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。磁気面メモリは、磁気ディスクメモリ又は磁気テープメモリであってもよい。揮発性メモリは、外部キャッシュとして用いられるランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。非限定的な例証として、ＲＡＭは、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期スタティックランダムアクセスメモリ（ＳＳＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、エンハンスト同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期リンクダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：Ｓｙｎｃｈｌｉｎｋ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びダイレクトラムバスランダムアクセスメモリ（ＤＲＲＡＭ（登録商標）：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの多数の形態で使用可能である。本発明の実施例に記載されているメモリ５２は、これら及び任意の他の適切な形態のメモリを含むが、これらに限定されないことに留意されたい。

上記本発明の実施例に開示された方法はプロセッサ５１に適用されるか、又はプロセッサ５１により実現される。プロセッサ５１は、信号を処理する能力を有する集積回路チップであり得る。上記方法の各ステップは、実現する過程において、プロセッサ５１におけるハードウェアの集積論理回路又はソフトウェアの形の指令により完成することができる。上記プロセッサ５１は、汎用プロセッサ、ＤＳＰ、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネント等であってもよい。プロセッサ５１は、本発明の実施例に開示されている各方法、ステップ及び論理的ブロック図を実現又は実行することができる。汎用プロセッサはマイクロプロセッサであってもよいし、該プロセッサは如何なる従来のプロセッサ等であってもよい。本発明の実施例に開示されている方法のステップに合わせて、ハードウェア解読プロセッサによって実行し、又は解読プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせで実行して完成するように示す。ソフトウェアモジュールは、記憶媒体内に存在してもよい。該記憶媒体は、メモリ５２内に位置し、プロセッサ５１はメモリ５２中の情報を読み取り、そのハードウェアと共に上記方法のステップを完了する。

例示的な実施例において、電子機器は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｒｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、複合プログラマブルロジックデバイス（ＣＰＬＤ：Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ、汎用プロセッサ、コントローラ、ＭＣＵ、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、又は他の電子素子により実現され、前記方法を実行するために用いられる。

例示的実施例において、本願の実施例は、例えばコンピュータプログラムを含むメモリ５２のようなコンピュータ記憶媒体を更に提供する。上記コンピュータプログラムは、電気機器のプロセッサ５１により実行され、前記方法に記載の工程を完了する。コンピュータ記憶媒体は、ＦＲＡＭ（登録商標）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、Ｆｌａｓｈ Ｍｅｍｏｒｙ、磁気面メモリ、光ディスク、又はＣＤ−ＲＯＭ等のメモリであってもよく、上記メモリのうちの１つ又は任意の組み合わせを含む種々の機器であってもよい。

本願の実施例で提供されるコンピュータ記憶媒体にコンピュータ命令が記憶されており、該命令がプロセッサにより実行される場合、本願の実施例に記載のポイントクラウドデータの処理方法を実現させる。

本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるいずれか１つのポイントクラウドデータの処理方法を実現させることができる。

本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェイス、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

分離部材として説明した該ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。

また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせとして実現してもよい。

上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、ＲＯＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者であれば、理解すべきである。

又は、本願の上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク装置など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

なお、矛盾が生じない限り、本願で提供される幾つかの方法実施例で開示された方法を互いに任意に組み合わせて、新たな方法実施例を得ることができる。矛盾が生じない限り、本願で提供される幾つかの製品実施例で開示された特徴を互いに任意に組み合わせて、新たな製品実施例を得ることができる。矛盾が生じない限り、本願で提供される幾つかの方法又は装置実施例で気味された特徴を互いに任意に組み合わせて、新たな方法実施例又は装置実施例を得ることができる。

以上は本願の実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

41 取得ユニット
42 補間処理ユニット
43 特徴取得ユニット
44 第１決定ユニット
51 プロセッサ
52 メモリ

Claims (23)

1. ポイントクラウドデータの処理方法であって、前記方法は、
   ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得することと、
   前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得ることであって、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表す、ことと、
   前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得ることと、
   前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることと、を含む、ポイントクラウドデータの処理方法。
2. 前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得ることは、
   前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、所定の補間処理方式で第１重みデータを得ることであって、前記第１重みデータは、前記ポイントクラウドデータを、所定の条件を満たす第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記ポイントクラウドデータは、所定の条件を満たす前記第１離散畳み込みカーネルの重みベクトルで囲まれた特定の幾何的形状領域内に位置する、ことを含むことを特徴とする
   請求項１に記載の方法。
3. 前記第１離散畳み込み結果を得た後、前記方法は、正規化パラメータに基づいて前記第１離散畳み込み結果に対して正規化処理を行うことであって、前記正規化パラメータは、前記ポイントクラウドデータの所在する前記特定の幾何的形状領域内のポイントクラウドデータの数によって決定される、ことを更に含み、
   前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることは、正規化処理を行った結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることを含むことを特徴とする
   請求項２に記載の方法。
4. 前記第１離散畳み込みカーネルの重みベクトルは、ｎ組であり、前記第１重みデータは、ｎ組であり、ｎは、２以上の整数であり、
   前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して第１離散畳み込み処理を行い、第１離散畳み込み結果を得ることは、
   第ｋ組の第１重みデータ及び第ｋ組の第１畳み込みパラメータに基づいて、第ｋ組の第１離散畳み込みカーネルの重みベクトル及び前記ポイントクラウドデータに対してｋ番目の第１離散畳み込み処理を行い、ｋ番目の第１離散畳み込み結果を得ることであって、前記第ｋ組の第１畳み込みパラメータは、ｋ番目の第１離散畳み込み処理の大きさの範囲に対応し、ｋは、１以上ｎ以下の整数である、ことを含み、
   前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることは、
   ｎ個の第１離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定することを含むことを特徴とする
   請求項１から３のいずれか一項に記載の方法。
5. 前記ｎ個の第１離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定することは、
   第１処理データ及び第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して補間処理を行い、第２重みデータを得ることであって、前記第２重みデータは、前記第１処理データを前記第２離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記第１処理データは、前回の離散畳み込み処理の結果によって決定され、前回の離散畳み込み処理の結果がｎ個の第１離散畳み込み結果である場合、前記第１処理データは、前記ｎ個の第１離散畳み込み結果によって決定される、ことと、
   前記第２重みデータ及び前記第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して第２離散畳み込み処理を行い、第２離散畳み込み結果を得ることと、
   前記第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を得ることと、を含むことを特徴とする
   請求項４に記載の方法。
6. 前記第２離散畳み込みカーネルの重みベクトルはｌ組であり、前記第２重みデータは、ｌ組であり、ｌは、２以上の整数であり、
   前記第２重みデータ及び前記第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して離散畳み込み処理を再実行することは、第ｍ組の第２重みデータ及び第ｍ組の第２畳み込みパラメータに基づいて、第ｍ組の第２離散畳み込みカーネルの重みベクトル及び前記第１処理データに対して、ｍ番目の第２離散畳み込み処理を行い、ｍ番目の第２離散畳み込み結果を得ることであって、前記第ｍ組の第２畳み込みパラメータは、ｍ番目の離散畳み込み処理の大きさの範囲に対応し、ｍは、１以上ｌ以下の整数である、ことを含み、
   第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を得ることは、
   ｌ個の第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定することを含むことを特徴とする
   請求項５に記載の方法。
7. 前記方法は、
   前記ポイントクラウドデータの空間的構造特徴に基づいて、前記ターゲットシーンにおける対象のタイプを決定することを更に含むことを特徴とする
   請求項１から６のいずれか一項に記載の方法。
8. 前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得ることは、
   前記第１離散畳み込み結果に対して第１アップサンプリング処理を行い、第１アップサンプリング処理結果を得ることと、
   前記第１アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得ることと、を含むことを特徴とする
   請求項１から３のいずれか一項に記載の方法。
9. 前記第１アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得ることは、
   前回のアップサンプリング処理の結果及び第３離散畳み込みカーネルの重みベクトルに基づいて、前記前回のアップサンプリング処理の結果に対して補間処理を行い、第３重みデータを得ることであって、前記第３重みデータは、前記前回のアップサンプリング処理の結果を前記第３離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前回のアップサンプリング処理が、第１離散畳み込み結果に対して行われた第１アップサンプリング処理である場合、前回のアップサンプリング処理の結果は、第１アップサンプリング結果である、ことと、
   前記第３重みデータ及び前記第３離散畳み込みカーネルの重みベクトルに基づいて、前記前回のアップサンプリング処理の結果に対して第３離散畳み込み処理を行い、第３離散畳み込み結果を得ることと、
   前記第３離散畳み込み結果に対して第２アップサンプリング処理を行い、第２アップサンプリング処理結果を得ることと、
   前記第２アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得ることと、を含むことを特徴とする
   請求項８に記載の方法。
10. 前記方法は、
    前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴に基づいて、前記少なくとも１つのポイントデータのセマンティック情報を決定することを更に含むことを特徴とする
    請求項１から３、８及び９のいずれか一項に記載の方法。
11. ポイントクラウドデータの処理装置であって、前記装置は、取得ユニットと、補間処理ユニットと、特徴取得ユニットと、を備え、
    前記取得ユニットは、ターゲットシーンにおけるポイントクラウドデータ及び第１離散畳み込みカーネルの重みベクトルを取得するように構成され、
    前記補間処理ユニットは、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して補間処理を行い、第１重みデータを得るように構成され、前記第１重みデータは、前記ポイントクラウドデータを前記第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、
    前記特徴取得ユニットは、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得て、前記第１離散畳み込み結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得るように構成される、ポイントクラウドデータの処理装置。
12. 前記補間処理ユニットは、前記ポイントクラウドデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、所定の補間処理方式で第１重みデータを得るように構成され、前記第１重みデータは、前記ポイントクラウドデータを、所定の条件を満たす第１離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記ポイントクラウドデータは、所定の条件を満たす前記第１離散畳み込みカーネルの重みベクトルで囲まれた特定の幾何的形状領域内に位置することを特徴とする
    請求項１１に記載の装置。
13. 前記特徴取得ユニットは、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して第１離散畳み込み処理を行い、第１離散畳み込み結果を得て、正規化パラメータに基づいて、第１離散畳み込み結果に対して正規化処理を行うように構成され、前記正規化パラメータは、前記ポイントクラウドデータの所在する前記特定の幾何的形状領域内のポイントクラウドデータの数によって決まり、前記特徴取得ユニットは、正規化処理を行った結果に基づいて、前記ポイントクラウドデータのうちの少なくとも一部のポイントクラウドデータの空間的構造特徴を得るように構成されることを特徴とする
    請求項１２に記載の装置。
14. 前記第１離散畳み込みカーネルの重みベクトルは、ｎ組であり、前記第１重みデータは、ｎ組であり、ｎは、２以上の整数であり、前記特徴取得ユニットは、第ｋ組の第１重みデータ及び第ｋ組の第１畳み込みパラメータに基づいて、第ｋ組の第１離散畳み込みカーネルの重みベクトル及び前記ポイントクラウドデータに対してｋ番目の第１離散畳み込み処理を行い、ｋ番目の第１離散畳み込み結果を得るように構成され、前記第ｋ組の第１畳み込みパラメータは、ｋ番目の第１離散畳み込み処理の大きさの範囲に対応し、ｋは、１以上ｎ以下の整数であり、前記特徴取得ユニットは、ｎ個の第１離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定するように構成されることを特徴とする
    請求項１１から１３のいずれか一項に記載の装置。
15. 前記補間処理ユニットは更に、第１処理データ及び第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して補間処理を行い、第２重みデータを得るように構成され、前記第２重みデータは、前記第１処理データを前記第２離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前記第１処理データは、前回の離散畳み込み処理の結果によって決定され、前回の離散畳み込み処理の結果がｎ個の第１離散畳み込み結果である場合、前記第１処理データは、前記ｎ個の第１離散畳み込み結果によって決定され、
    前記特徴取得ユニットは更に、前記第２重みデータ及び前記第２離散畳み込みカーネルの重みベクトルに基づいて、前記第１処理データに対して第２離散畳み込み処理を行い、第２離散畳み込み結果を得て、前記第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を得るように構成されることを特徴とする
    請求項１４に記載の装置。
16. 前記第２離散畳み込みカーネルの重みベクトルはｌ組であり、前記第２重みデータは、ｌ組であり、ｌは、２以上の整数であり、
    前記特徴取得ユニットは、第ｍ組の第２重みデータ及び第ｍ組の第２畳み込みパラメータに基づいて、第ｍ組の第２離散畳み込みカーネルの重みベクトル及び前記第１処理データに対して、ｍ番目の第２離散畳み込み処理を行い、ｍ番目の第２離散畳み込み結果を得るように構成され、前記第ｍ組の第２畳み込みパラメータは、ｍ番目の離散畳み込み処理の大きさの範囲に対応し、ｍは、１以上ｌ以下の整数であり、前記特徴取得ユニットは更に、ｌ個の第２離散畳み込み結果に基づいて、前記ポイントクラウドデータの空間的構造特徴を決定するように構成されることを特徴とする
    請求項１５に記載の装置。
17. 前記装置は、前記ポイントクラウドデータの空間的構造特徴に基づいて、前記ターゲットシーンにおける対象のタイプを決定するように構成される第１決定ユニットを更に備えることを特徴とする
    請求項１１から１６のいずれか一項に記載の装置。
18. 前記特徴取得ユニットは、前記第１重みデータ及び前記第１離散畳み込みカーネルの重みベクトルに基づいて、前記ポイントクラウドデータに対して、第１離散畳み込み処理を行い、第１離散畳み込み結果を得て、前記第１離散畳み込み結果に対して第１アップサンプリング処理を行い、第１アップサンプリング処理結果を得て、前記第１アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得るように構成されることを特徴とする
    請求項１１から１３のいずれか一項に記載の装置。
19. 前記補間処理ユニットは更に、前回のアップサンプリング処理の結果及び第３離散畳み込みカーネルの重みベクトルに基づいて、前記前回のアップサンプリング処理の結果に対して補間処理を行い、第３重みデータを得るように構成され、前記第３重みデータは、前記前回のアップサンプリング処理の結果を前記第３離散畳み込みカーネルの重みベクトルに対応する位置に割り当てる重みを表し、前回のアップサンプリング処理が、第１離散畳み込み結果に対して行われた第１アップサンプリング処理である場合、前回のアップサンプリング処理の結果は、第１アップサンプリング結果であり、
    前記特徴取得ユニットは更に、前記第３重みデータ及び前記第３離散畳み込みカーネルの重みベクトルに基づいて、前記前回のアップサンプリング処理の結果に対して第３離散畳み込み処理を行い、第３離散畳み込み結果を得て、前記第３離散畳み込み結果に対して第２アップサンプリング処理を行い、第２アップサンプリング処理結果を得て、前記第２アップサンプリング処理結果に基づいて、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴を得るように構成されることを特徴とする
    請求項１８に記載の装置。
20. 前記装置は、前記ポイントクラウドデータにおける少なくとも１つのポイントデータの空間的構造特徴に基づいて、前記少なくとも１つのポイントデータのセマンティック情報を決定するように構成される第２決定ユニットを更に備えることを特徴とする
    請求項１１から１３、１８及び１９のいずれか一項に記載の装置。
21. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、請求項１から１０のいずれか一項に記載の方法のステップを実現させる、コンピュータ可読記憶媒体。
22. 電子機器であって、前記電子機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサで実行される可能なコンピュータプログラムと、を備え、前記プロセッサが前記コンピュータプログラムを実行する時、請求項１から１０のいずれか一項に記載の方法のステップを実現させる、電子機器。
23. コンピュータプログラムであって、コンピュータによって実行されると、コンピュータに、請求項１から１０のいずれか一項に記載の方法のステップを実現させることができる、コンピュータプログラム。

Images