JP2023503732A - ポイントクラウド補完方法、ネットワーク訓練方法、装置、機器及び記憶媒体 - Google Patents

Abstract

本願の実施例は、ポイントクラウド補完方法、ネットワーク訓練方法、装置、機器及び記憶媒体を提供する。ここで、前記方法は、取得した第１ポイントクラウドの確率分布を決定することと、前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得ることと、前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得ることと、前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定することと、前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得ることと、を含む。【選択図】図１

Description

（関連出願の相互参照）
本願は、２０２１年４月１５日に提出された、出願番号が１０２０２１０３８９５Ｐであるシンガポール特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。

本願の実施例は、クラウドデータ処理技術分野に関し、ポイントクラウド補完方法、ネットワーク訓練方法、装置、機器及び記憶媒体に関するが、これらに限定されない。

関連技術において、ピクチャ又はビデオに比べて、ポイントクラウドのデータフォーマットである場合、物体とセンサとの距離情報を損失することがなく、即ち、空間における物体の３Ｄ位置情報を得ることができる。また、ポイントクラウドにより、ピクチャ又はビデオが齎す曖昧さ（例えば、３Ｄ空間における人体の位置が不明確である）を回避することができる。しかしながら、ポイントクラウドの生成タスクにおいて出力されるポイントクラウドに、入力された不完全ポイントクラウドにおける細部を保持することができないため、不完全な細部に基づいて全体的な形状を補完することができず、生成されるポイントクラウドの形状は不完全になる。

本願の実施例は、ポイントクラウド補完の技術的解決手段を提供する。

本願の実施例は、ポイントクラウド補完方法を提供する。前記方法は、取得した第１ポイントクラウドの確率分布を決定することと、前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得ることと、前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得ることと、前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定することと、前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得ることと、を含む。

本願の実施例は、ポイントクラウド補完ネットワークの訓練方法を提供する。ここで、前記方法は、第１サンプルポイントクラウドを取得することと、所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定することと、前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得ることと、所定の関係補強ネットワークを用いて、前記第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第２予測ポイントクラウドを得ることと、前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うことと、パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成することと、を含む。これにより、該２つのネットワークにより、ポイントクラウド補完ネットワークの訓練プロセスを実現する。入力された不完全ポイントクラウドを根拠とし、入力された不完全ポイントクラウドの細部を保持すると同時に、合理的な高精度ポイントクラウドを生成することができる。

本願の実施例は、ポイントクラウド補完装置を提供する。前記装置は、取得した第１ポイントクラウドの確率分布を決定するように構成される第１決定モジュールと、前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得るように構成される第１補完モジュールと、前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得るように構成される第１連結モジュールと、前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定するように構成される第２決定モジュールと、前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得るように構成される第１調整モジュールと、を備える。

本願の実施例は、ポイントクラウド補完ネットワークの訓練装置を提供する。前記装置は、第１サンプルポイントクラウドを取得するように構成される第１取得モジュールと、所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定するように構成される第３決定モジュールと、前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得るように構成される第１予測モジュールと、所定の関係補強ネットワークを用いて、前記第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第２予測ポイントクラウドを得るように構成される第１調整モジュールと、前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うように構成される第１訓練モジュールと、パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成するように構成される第４決定モジュールと、を備える。

本願の実施例によるポイントクラウド補完方法の実現フローを示す概略図である。 本願の実施例によるポイントクラウド補完方法の実現フローを示すもう１つの概略図である。 本願の実施例によるポイントクラウド補完ネットワークの訓練方法の実現フローを示す概略図である。 本願の実施例によるポイントクラウド補完装置の構造を示す概略図である。 本願の実施例によるポイントクラウド補完ネットワークの訓練装置の構造を示す概略図である。 本願の実施例によるコンピュータ機器の構造を示す概略図である。

本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、発明の具体的な技術的解決手段を更に詳しく説明する。下記実施例は、本願の説明するためのものであり、本願の範囲を限定するものではない。

下記記述において、「幾つかの実施例」に係る。これは、全ての可能な実施例のサブ集合を記述する。「幾つかの実施例」は、全ての可能な実施例の同一のサブ集合又は異なるサブ集合であってもよく、また、矛盾しない限り、互いに組み合わせられてもよいと理解されるべきである。

下記記述に係る用語「第１／第２／第３」は、類似した対象を区別するためのものであり、対象の特定の順番を説明するためのものではない。ここで説明した本願の実施例をここで示した又は説明した順番以外の順番で実施可能なものにするために、「第１／第２／第３」は、許された場合であれば特定の順番又は前後順序を互いに取り替えることができることは、理解されるべきである。

別途定義しない限り、本明細書に用いられる全ての技術的及び科学的用語は、本願の技術分野に属する当業者が一般的に理解する意味と同じである。本明細書に用いられる用語は、本願の実施例の目的を説明するためのものだけであり、本願を限定するものではない。

本願の実施例に係る名詞及び用語に関する解釈は以下の通りである。

グローバル平均プーリング（Ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）は、アンダーサンプリング又はサブサンプリングとも呼ばれ、主に特徴次元の削減、データ及びパラメータの数の圧縮を行い、オーバーフィッティングを減少させると同時に、モデルのフォールトトレランスを向上させるために用いられる。

全結合層は、前の複数回畳み込み処理された高度に抽象化した特徴を整合し、続いて、正規化を行い、各分類ケースに対して１つの確率を出力し、その後、分類器が、全結合により得られた確率に基づいて分類を行う役割をしている。

変分オートエンコーダは、重要な生成モデルである。観測可能のデータをｘとする場合、ｘは、隠れた変数ｚから生成されたものである。

プロセスは、生成モデル

であり、オートエンコーダの観点から見れば、デコーダである。

プロセスは、認識モデル

であり、オートエンコーダのエンコーダと類似する。

以下、本願の実施例で提供されるポイントクラウド補完機器の例示的な適用を説明する。本願の実施例で提供される機器は、画像収集機能を有するノートパソコン、タブレット、デスクトップコンピュータ、カメラ、携帯機器（例えば、パーソナルデジタルアシスタント、専用メッセージング機器、ポータブルゲーム機器）などの種々のタイプのユーザ端末として実現してもよく、サーバとして実現してもよい。以下、機器が端末又はサーバとして実現する場合の例示的な適用を説明する。

該方法は、コンピュータ機器に適用可能である。該方法により実現される機能は、コンピュータ機器におけるプロセッサがプログラムコードを呼び出すことで実現してもよい。勿論、プログラムコードは、コンピュータ記憶媒体に記憶されてもよい。従って、該コンピュータ機器は少なくともプロセッサ及び記憶媒体を備える。

図１Ａに示すように、本願の実施例は、ポイントクラウド補完方法を提供する。

ステップＳ１０１において、取得した第１ポイントクラウドの確率分布を決定する。

取得した第１ポイントクラウドは、収集した三次元（３－Ｄｉｍｅｎｓｉｏｎ：３Ｄ）ポイントクラウドデータ、又は受信した、他の機器からの３Ｄポイントクラウドデータであってもよい。例えば、１つの角度で電気スタンドに対して収集した、電気スタンドの外観を表すポイントクラウドデータであってもよく、又は、受信した、いずれか１つの機器からの１つの物体を表すポイントクラウドデータであってもよい。第１ポイントクラウドは、物体の形状を完全に表すことができる完全なポイントクラウドであってもよく、物体の一部の形状を表すことができる不完全ポイントクラウドであってもよい。第１ポイントクラウドの確率分布は、該第１ポイントクラウドを符号化することで得られた条件付き確率分布である。

ポイントクラウド補完ネットワークを用いて、第１ポイントクラウドの確率分布を決定する。該ポイントクラウド補完ネットワークは、初級補完ポイントクラウドを生成する確率生成ネットワークと、初級補完ポイントクラウドを基に高品質な出力ポイントクラウドを生成する関係補強ネットワークと、を含む。これにより生成された補完ポイントクラウドは、入力されたポイントクラウドの細部が大幅に保持される。確率生成ネットワークの変分オートエンコーダを用いて、第１ポイントクラウドに対して符号化を行い、符号化されたポイントクラウドに対して線形残差モジュールにより処理を行うことで、第１ポイントクラウドデータの条件付き確率分布を迅速に決定することができる。即ち、上記ステップＳ１０１は、下記プロセスにより実現してもよい。

ステップＳ１１１において、前記第１ポイントクラウドに対して変分符号化を行い、符号化ポイントクラウドを得る。

例えば、変分オートエンコーダ５２１を用いて第１ポイントクラウドに対して変分符号化を行い、その実現プロセスは以下の通りである。

まず、第１共有多層パーセプトロンネットワーク（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ：ＭＬＰ）を用いて、入力された第１ポイントクラウド特徴次元を１２８に変換する。次に、第２共有多層パーセプトロンネットワークを用いて、特徴次元が１２８であるポイントクラウド特徴を次元が２５６であるポイントクラウド特徴に変換する。更に、次元が２５６であるポイントクラウド特徴をプーリング層に入力し、最大プーリング処理を行う。更に、プーリング処理結果と次元が２５６であるポイントクラウド特徴を要素ごとに乗算する。更に、乗算結果を第３共有多層パーセプトロンネットワークに入力し、特徴次元が２５６であるポイントクラウド特徴を次元が５１２であるポイントクラウド特徴に変換する。更に、第４共有多層パーセプトロンネットワークを用いて、特徴次元が５１２であるポイントクラウド特徴を次元が１０２４であるポイントクラウド特徴に変換する。最後に、次元が１０２４であるポイントクラウド特徴をプーリング層に入力し、最大プーリング処理を行い、符号化ポイントクラウドを得る。

ステップＳ１１２において、前記符号化ポイントクラウドに対して残差処理を行い、残差ポイントクラウドを得る。

確率生成ネットワークにおける複数の線形残差モジュールを用いて、符号化ポイントクラウドに対して線形残差処理を行い、残差ポイントクラウドを得る。例えば、複数の線形残差モジュールを用いて、プーリング結果に対して残差処理を行い、残差ポイントクラウドを得る。例えば、変分オートエンコーダに入力された第１ポイントクラウドは、３＊１０２４であり、出力されたものは、１０２４個の値であり、即ち、残差ポイントクラウドの値である。

ステップＳ１１３において、前記残差ポイントクラウドに基づいて、前記確率分布を決定する。

不完全ポイントクラウドにおけるポイントに対してサンプリング及びプロットを行うことで、第１ポイントクラウドの条件付き確率分布を得る。即ち、変分オートエンコーダから出力された１０２４個の値に基づいて、第１ポイントクラウドの条件付き確率分布を得ることができ、得られた条件付き確率分布は、ガウス分布に近い。このように、ポイントクラウド補完ネットワークにおける変分オート符号化の方式を用いて、第１ポイントクラウドに対して変分符号化を行い、ポイントクラウド補完ネットワークにおける複数の線形残差モジュールを用いて、符号化されたポイントクラウドに対して残差処理を行い、第１ポイントクラウドの条件付き確率分布を正確に決定することができる。

ステップＳ１０２において、前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得る。

ポイントクラウド補完ネットワークにおいて、第１ポイントクラウドの確率分布と標準的な正規分布との差を参照することで、第１ポイントクラウドが属する対象の完全な形状を予測する。また、該完全な形状のポイントクラウドデータと第１ポイントクラウドとの差に基づいて、第１ポイントクラウドに対して補完を行うことで、大ざっぱに推定された初級補完ポイントクラウドを得ることができる。該初級補完ポイントクラウドは、第１ポイントクラウドが属する対象のだいたいの輪郭を大ざっぱに表すために用いられる。

ポイントクラウド補完ネットワークの確率生成ネットワークにおいて、標準的な正規分布と第１ポイントクラウドの確率分布との差に基づいて、第１ポイントクラウドの大ざっぱな完全形状を予測する。即ち、ステップＳ１０２は、下記ステップにより実現してもよい。

ステップＳ１２１において、前記確率分布に基づいて、前記第１ポイントクラウドが属する対象の外観形状を予測する。

第１ポイントクラウドが属する対象の外観形状は、該第１ポイントクラウドに対応する観察視野角における該対象の外観形状である。例えば、まず、第１ポイントクラウドが属する対象の観察視野角を決定し、該観察視野角及び該差に基づいて、該観察視野角における該対象の外観形状を予測することができる。第１ポイントクラウドの確率分布と標準的な正規分布との差に基づいて、第１ポイントクラウドが属する対象の完全な外観形状を予測する。第１ポイントクラウドが１つの角度で収集した電気スタンドのポイントクラウドデータである場合、即ち、不完全ポイントクラウドのグローバル特徴に対して、第１ポイントクラウドの確率分布と標準的な正規分布との差に基づいて、第１ポイントクラウドが属する対象の完全な外観形状を予測し、該外観形状により、グローバル特徴に対して補完を行い、電気スタンド全体の骨組みを表す初級補完ポイントクラウドを得る。

ステップＳ１２２において、前記第１ポイントクラウドで表される前記対象の第２外観形状を決定する。

前記第１外観形状の完全度は、前記第２外観形状の完全度よりも高い。第１ポイントクラウドの分布に基づいて、第１ポイントクラウドで表される前記対象の外観形状、即ち、第２外観形状を決定することができる。第１ポイントクラウドが不完全ポイントクラウドである場合、第２外観形状は、該対象の一部の外観形状である。

ステップＳ１２３において、前記第１外観形状に基づいて、前記第２外観形状に対して補完を行い、前記初級補完ポイントクラウドを得る。

第１ポイントクラウドが属する対象の第１ポイントクラウドの観察視野角における外観輪郭、即ち、第１外観形状を予測した後、該第１外観形状と第２外観形状との差を決定する。これに基づいて、第２外観形状に対して補完を行い、補完された外観形状を得る。該補完された外観形状に基づいて、初級補完ポイントクラウドを得ることができる。このように、第１ポイントクラウドが属する対象の外観形状を予測し、第１ポイントクラウドの外観形状に対して補完を行うことで、入力された第１ポイントクラウドの細部をより好適に保持し、入力された第１ポイントクラウドの細部を保持した上で補完を行うことができる。

ステップＳ１０３において、前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得る。

推定した第１ポイントクラウドの大ざっぱな輪郭、即ち、初級補完ポイントクラウドと第１ポイントクラウドを連結（Ｃｏｎｃａｔｅｎａｔｉｏｎ）し、該連結ポイントクラウドを得る。

上記ステップＳ１０１からステップＳ１０３は、ポイントクラウド補完ネットワークの確率生成ネットワークにより実現してもよい。該確率生成ネットワークを訓練する過程において、不完全ポイントクラウドの分布及び特徴、及びこれに対応する完全ポイントクラウドの分布及び特徴を学習しており、従って、適用の時に、不完全ポイントクラウド形状に符合するポイントクラウドだけでなく、合理的な輪郭も有する大ざっぱなポイントクラウドを生成することができる。即ち、確率生成ネットワークを用いることで、補完ネットワークに対応する、合理的な輪郭を有する初級補完ポイントクラウドを生成することができる。上記ステップＳ１０３の後に、確率生成ネットワークから出力された初級補完ポイントクラウドと第１ポイントクラウドを組み合わせ、ポイントクラウド補完ネットワークの関係補強ネットワークに入力し、即ち、ステップＳ１０４に入る。

ステップＳ１０４において、前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定する。

関係補強ネットワークにおいて、連結ポイントクラウドにおける各データポイントに対して、まず、該データポイントに対応する複数組の近隣ポイントを決定し、ここで、複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる。各組の近隣ポイントのスケールは、該組の近隣ポイントの数を表す。即ち、複数組の近隣ポイントのうちの各組の近隣ポイントの数は異なる。例えば、データポイントの一組の近隣ポイントの数はＫ１であり、別の一組の近隣ポイントの数はＫ２である場合、該２組の近隣ポイントのスケールがＫ１及びＫ２であるとそれぞれ決定する。続いて、各組の近隣ポイントと該ポイントとの関連関係を決定する。ここで、関連関係は、一組の近隣ポイントのうちの各近隣ポイントと該ポイントとのインタラクションを表すためのものであり、近隣ポイントと該ポイントとの間のインタラクションパラメータ及び重みパラメータで表されてもよい。関連関係は、位置関連を含んでもよく、及び／又は、該関連関係は、一組の近隣ポイントのうちの各近隣ポイントと連結ポイントクラウドデータにおける対応するデータポイントとでそれぞれ表される物理的対象との潜在的関係を表すことができる。例えば、両者が同一の物理的対象を表すポイントであるかどうかを表す。又は、両者で表される物理的対象が異なる場合、表される異なる物理的対象間の位置関係、種類類似性、従属関係などのうちの少なくとも１つである。上記関連関係は、近隣ポイントと属する連結ポイントクラウドにおける対応するデータポイントとの関係パラメータ及び重みパラメータで表されてもよい。複数組の近隣ポイントのうちの各組の近隣ポイントに対して、一組の近隣ポイントのうち、各近隣ポイントと対応するデータポイントとの関連パラメータを分析する。該関連パラメータに基づいて、一組の近隣ポイントと対応するデータポイントとの関連関係を全体的に決定し、各組の近隣ポイントと対応するデータポイントとの関連関係を得ることができる。このように、各データポイントと対応する複数組の近隣ポイントとの関連関係を決定することで、連結ポイントクラウド全体と連結ポイントクラウドの複数組の近隣ポイントとの関連関係を得ることができる。このように、ポイントクラウド選択モジュールを用いて、ポイントクラウドのスケールが異なる近隣ポイントの構造的関係を学習することで、ポイントクラウド補完の精度を向上させる。

ステップＳ１０５において、前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得る。

連結ポイントクラウドにおける各データポイントに対して、一組の近隣ポイントと対応するデータポイントとの関連関係に基づいて、初級補完ポイントクラウドのポイントクラウド特徴に対して補強を行い、より精細なポイントクラウド特徴を得る。該より精細なポイントクラウド特徴により、初級補完ポイントクラウドに対して補完を行い、第１ポイントクラウドの第２ポイントクラウドを得る。

第１ポイントクラウドの確率分布を考慮することで、第１ポイントクラウドの合理的な輪郭を予測することができる。これにより、第１ポイントクラウド形状に符合する初級補完ポイントクラウドだけでなく、合理的である初級補完ポイントクラウドを得ることができる。連結ポイントクラウドのスケールが異なる複数組の近隣ポイントの構造的関係に基づいて、初級補完ポイントクラウドの精度を向上させ、精度が高いポイントクラウド細部を有する第２ポイントクラウドを得ることができる。

ポイントクラウド補完ネットワークの関係補強ネットワークにおいて、複数組のスケールが異なる近隣ポイントの関連特徴をフュージョンすることで、各データポイントのターゲット特徴を決定し、精細なポイントクラウド細部を含む第２ポイントクラウドを得る。即ち、上記ステップＳ１０５は、図２Ａに示すステップにより実現してもよい。図１及び図２Ａを参照しながら、以下のように説明する。

ステップＳ２０１において、前記連結ポイントクラウドにおける各データポイントと対応する複数組の近隣ポイントとの関連関係に基づいて、前記各データポイントの関連特徴を決定する。

関係補強ネットワークにおいて、連結ポイントクラウドにおけるいずれか１つの連結ポイントに対して、該いずれか１つの連結ポイントを中心ポイントとして、１組、２組又は２組以上の近隣ポイントを決定する。各組における近隣ポイントの数は、同じであっても異なってもよい。各組の近隣ポイントと対応するデータポイントとの関連関係は、一組の近隣ポイントにおける各近隣ポイントと対応するデータポイントとの関連程度を表すためのものである。複数組の近隣ポイントのうちの各組の近隣ポイントに対して、一組の近隣ポイントのうちの各近隣ポイントと対応するデータポイントとの関連パラメータを分析する。一組の近隣ポイントと対応するデータポイントとの関連関係を全体的に決定し、各データポイントと対応する複数組の近隣ポイントとの関連関係を得ることができる。これによれば、各データポイントの関連特徴の数は、近隣ポイントの組数に対応し、即ち、一組の近隣ポイントと対応するデータポイントに対してインタラクション処理を行うことで、該データポイントの一組の関連特徴を得ることができ、該組の関連特徴は、該組の近隣ポイントの特徴情報を十分に考慮している。１つの連結ポイントは、複数組の近隣ポイントを有するため、関連特徴は複数組である。

一組の近隣ポイントにおける各近隣ポイントに対して、まず、インタラクションパラメータに基づいて、該近隣ポイントの特徴と対応するデータポイントの特徴に対してインタラクション処理を行い、インタラクション処理後の初期特徴集合を得る。続いて、組で、該インタラクション処理後の初期特徴をフュージョンし、各組に対応するデータポイントの関連特徴を得る。該連結ポイントの関連特徴は、周辺の複数組の近隣ポイントの初期特徴との関連関係を考慮したため、得られた該連結ポイントの関連特徴は、より重要で、豊かである。

ステップＳ２０２において、前記各データポイントの関連特徴に基づいて、前記各データポイントのターゲット特徴を決定する。

各組の近隣ポイントに対応する連結ポイントの関連特徴をフュージョンすることで、該各データポイントのターゲット特徴を得ることができる。各データポイントの複数組の近隣ポイントに対して、ポイントクラウドセルフアテンションカーネル（Ｐｏｉｎｔ Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ Ｋｅｒｎｅｌ：ポイントクラウドセルフアテンションカーネル）モジュールを用いて、各組の近隣ポイントに対応する関連特徴を得る。このように、各組の関連特徴の重みと該組の関連特徴に対して加重加算を行うことで、複数組の近隣ポイントの特徴を十分に考慮したターゲット特徴を得る。これにより、スケールが異なる近隣ポイントと対応するデータポイントとの関連関係を自己適応的に選択し、複数組の関連特徴に基づいて、該連結ポイントのターゲット特徴を決定することで、ポイントクラウド学習におけるスケール不変性を解決できるだけでなく、ポイントクラウド特徴を補強することもできる。

ステップＳ２０３において、前記連結ポイントクラウドにおける各データポイントのターゲット特徴に基づいて、前記第１ポイントクラウドを補完した第２ポイントクラウドを得る。

各データポイントのターゲット特徴を初級補完ポイントクラウドにフュージョンすることで、各データポイントと複数組の近隣ポイントとの構造的関係を初級補完ポイントクラウドに補充することができ、第１ポイントクラウドの精細な構造を表す第２ポイントクラウドを得ることができる。

スケールが異なる複数組の近隣ポイントの特徴をフュージョンすることで、スケールが異なるポイントクラウド特徴を考慮に入れることができる。これにより、ポイントクラウド特徴のスケール不変性を実現し、抽出されたポイントクラウド特徴をより豊かにすることができる。

複数組の関連特徴に対してグローバル平均プーリング処理を行い、該関連特徴のうち、各組の近隣ポイントの組関連度を決定し、組関連度と該組の関連特徴を組み合わせることで、ターゲット特徴を抽出する。即ち、上記ステップＳ２０２は、下記ステップにより実現してもよい。

ステップＳ２２１において、前記複数組の近隣ポイントに対応する各データポイントの関連特徴に対して平均プーリング処理を行い、プーリング特徴を得る。

各データポイントにとってどの組の近隣ポイントがより重要であるかを決定するために、まず、複数組の近隣ポイントに対応する関連特徴をフュージョンし、更に、プーリング層を利用して、フュージョンした特徴の重要度に対して平均プーリング処理を行い、プーリング特徴を得る。

まず、前記プーリング特徴に基づいて、前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴集合を得る。例えば、該複数組の近隣ポイントに対応する関連特徴を要素ごとに加算し、フュージョンした特徴を得る。続いて、前記フュージョン特徴集合におけるフュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得る。例えば、要素ごとに加算を行うことで得られたフュージョン特徴をネットワークのグローバル平均プーリング層に入力し、フュージョンした特徴に対してグローバル平均プーリング処理を行い、フュージョンした特徴に対して次元削減を行った後の該プーリング特徴を得て、ネットワークのロバスト性を向上させる。

ステップＳ２２２において、前記プーリング特徴に基づいて、各組の前記近隣ポイントと対応するデータポイントとの組関連度を決定する。

まず、該プーリング特徴をネットワークアーキテクチャにおける全結合層に入力し、一組の近隣ポイントのうちの各近隣ポイントの対応するデータポイントに対する重要度を分類し、重要度がラベル付けられた近隣ポイント集合を得る。続いて、２つの全結合層を利用して、重要度がラベル付けられた近隣ポイント集合から、同一組の近隣ポイントを分類する。最後に、該同一組の近隣ポイントにラベル付けられた重要度に基づいて、該組の対応するデータポイントに対する重要度を決定することができる。即ち、該組の組関連度を決定することができる。

ステップＳ２２３において、前記組関連度及び前記関連特徴に基づいて、前記各データポイントのターゲット特徴を決定する。

まず、１つの組の組関連度及び該組に対応する関連特徴に対して、２つのベクトルを要素ごとに乗算し、複数組の乗算結果を得ることができる。続いて、該複数の組の乗算結果に対して要素ごとに加算を行い、最終的なターゲット特徴を得る。

組関連度に基づいて、各データポイントの関連特徴に対して加重調整を行い、調整された関連特徴をフュージョンし、該データポイントのターゲット特徴を得る。そのプロセスは以下の通りである。

まず、前記各組の組関連度に基づいて、前記各データポイントの関連特徴に対して調整を行い、各組の近隣ポイントに対応する調整済み関連特徴を得る。

例えば、各組の組関連度を用いて、該組に対応するデータポイントの関連特徴に対して重み付けを行い、調整済み関連特徴を得る。

続いて、前記各データポイントの複数組の近隣ポイントに対応する前記調整済み関連特徴をフュージョンし、前記各データポイントのターゲット特徴を得る。

例えば、各組の近隣ポイントに対応する調整済み関連特徴を得た後、該複数組の近隣ポイントに対応する調整済み関連特徴を要素ごとに加算し、該データポイントのターゲット特徴を得る。このように、各組の組関連度を利用して、該組の関連特徴に対して重み付けを行った後に加算を行い、該データポイントのターゲット特徴を得ることで、得られたターゲット特徴に含まれる細部情報をより豊かにすることができる。

複数組の関連特徴をフュージョンした後、グローバル平均プーリング処理を行い、プーリング特徴を全結合層に入力することで、該関連特徴における各組の近隣ポイントの重要度を決定し、該各組の近隣ポイントの重要度と該組に対応する関連特徴を組み合わせて、最終的なターゲット特徴を得る。これにより、スケールが異なる複数組の近隣ポイントの組関連度と該組の関連特徴を組み合わせることで、細部がより豊かであるポイントクラウドのターゲット特徴を抽出する。同一の階層において、スケールが異なる複数の特徴を選択してフュージョンする。これにより、ポイントクラウド特徴に基づいてポイントクラウド補完ネットワークの訓練を行う過程において、訓練により得られたネットワークは、種々のスケールの関連特徴に対応できるようになる。

一組の近隣ポイントのうちの各近隣ポイントと対応するデータポイントとの関連度を決定することで、一組の組関連度を決定する。即ち、上記ステップＳ２２２は、下記ステップにより実現してもよい。

ステップ１において、前記プーリング特徴に基づいて、前記各データポイントと対応する前記各組の近隣ポイントのうちの各近隣ポイントとの関連度を決定し、ポイント関連度集合を得る。

各組の近隣ポイントにおいて、近隣ポイントに対応するデータポイントに対する、各近隣ポイントの重要度を決定することで、該近隣ポイントと対応するデータポイントとの関連度を決定することができ、例えば、該近隣ポイントの特徴が該連結ポイントのキー特徴に属する信頼度を該近隣ポイントと対応するデータポイントとの関連度とする。

一組の近隣ポイントにおいて、各近隣ポイントが連結ポイントのキーポイントに属する信頼度を判定することで、対応するデータポイントに対する、該組の近隣ポイントの重要度を分析し、即ち、組関連度を分析する。これは、下記プロセスにより実現してもよい。

まず、前記プーリング特徴が対応するデータポイントのキー特徴に属する第１信頼度を決定する。

連結ポイントのキー特徴は、連結ポイントの近隣ポイントのうちのキーポイントであり、該連結ポイントと線形関係及び関連関係を有する。例えば、キーポイントと連結ポイントとのセマンティック関係が緊密であり、且つインタラクションが多い。具体的な例において、複数組の近隣ポイントに対応する関連特徴をフュージョンし、該複数組の関連特徴のプーリング特徴を全結合層に入力し、該全結合層を利用して、複数組の関連特徴のうちの重要特徴である関連特徴に対して分類を行う。一組の関連特徴において、近隣ポイントと関連特徴は、関連関係を有する。これにより、複数組の近隣ポイントのうちの各近隣ポイントがキーポイントであるかどうかに関する分類を行い、各近隣ポイントが連結ポイントのキーポイントに属する第１信頼度を得る。

次に、前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得る。

連結ポイントにとって、どの組の近隣ポイントがより重要であるかを決定するために、関係補強ネットワークにおいて、複数の独立した全結合層を利用して、フュージョンした複数組の関連特徴を区分し、各組の近隣ポイントに対応する関連特徴の重要度を得、即ち、第２信頼度を得る。ここで、独立した全結合層の数は、近隣ポイントの組数と同じである。これにより、フュージョンした複数組の関連特徴を区分することができる。

最後に、前記第２信頼度集合に基づいて、前記同一組の近隣ポイントが属する組の組関連度を決定する。

一組の近隣ポイントに対応する関連特徴がキー特徴に属する信頼度を決定し、これらの信頼度を各関連特徴にラベル付けることで、該組の重要度を得ることができる。これにより、まず、全結合層により、フュージョンした複数組の関連特徴の重要度に対して分類を行う。続いて、複数の独立した全結合層により、該複数組の関連特徴を独立した組に分ける。これにより、各組の近隣ポイントの重要度を決定することができる。

ステップ２において、前記ポイント関連度集合に基づいて、前記各組の組関連度を決定する。

一組のポイント関連度集合は、一組の近隣ポイントのうち、各近隣ポイントが連結ポイントのキーポイントに属する信頼度集合と理解されてもよい。一組の近隣ポイントの信頼度を加算することで、対応するデータポイントに対する、該組の重要度を得ることができる。即ち、該組の組関連度を得る。

一組の近隣ポイントのポイント関連度を得た後、一組のポイント関連度集合を正規化し、各組の組関連度を得る。例えば、下記プロセスにより実現してもよい。

まず、前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得る。

例えば、関係補強ネットワークにおいて、各組の近隣ポイントに対応する一組の第２信頼度を該ネットワークのｓｏｆｔｍａｘ層に入力し、ｓｏｆｔｍａｘ関数を用いて、ポイント関連度集合におけるポイント関連度に対して処理を行い、各組の正規化結果を得ることができる。また、該複数組の組正規化結果の合計は、１に等しい。

続いて、前記組正規化結果に基づいて、前記組関連度を決定する。

例えば、組正規化結果が大きいほど、対応するデータポイントにとって、該組の近隣ポイントが重要になることを表す。即ち、該組の近隣ポイントが対応するデータポイントのキーポイントである確率が大きいであることを表す。これにより、ｓｏｆｔｍａｘ層を利用して、一組の近隣ポイントのポイント関連度を処理することで、該組の近隣ポイント全体の重要度を決定することができる。従って、該組の近隣ポイント全体の重要度に基づいて、抽出したポイントクラウド特徴を補強することができる。

各組の近隣ポイントのうちの各近隣ポイントに対して、自己適応的な方式で、各近隣ポイントと対応するデータポイントとのインタラクションを実現する。即ち、上記ステップＳ１０４は、下記ステップにより実現してもよい。

ステップＳ１４１において、前記各組の近隣ポイントの第１初期特徴及び前記連結ポイントクラウドにおける各データポイントの第２初期特徴をそれぞれ決定する。

各組の近隣ポイントのうちの各近隣ポイントに対して特徴抽出を行い、第１初期特徴を得、即ち、第１初期特徴は、各近隣ポイントの初期特徴を含む。各データポイントに対して特徴抽出を行い、第２初期特徴を得る。ここの特徴抽出は、訓練された多層パーセプトロンネットワーク又は畳み込みネットワークなどにより実現してもよい。

ステップＳ１４２において、第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得る。

第１所定値は、設定された任意の値であってもよい。例えば、第１所定値を６４又は３２などとする。まず、多層パーセプトロンネットワークを用いて、第１初期特徴に対して線形処理を行う。例えば、第１初期特徴に対して次元拡張を行う。続いて、第１所定値に基づいて、次元拡張された第１初期特徴に対して線形変換を行い、第１変換特徴を得る。例えば、第１所定値に基づいて、次元拡張された第１初期特徴に対して次元削減を行い、第１変換特徴を得る。

ステップＳ１４３において、前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得る。

各データポイントの第２初期特徴に対する処理プロセスは、上記ステップＳ１２２における、第１初期特徴に対する処理プロセスと類似する。例えば、まず、多層パーセプトロンネットワークを用いて、第２初期特徴に対して線形処理を行い、例えば、第２初期特徴に対して次元拡張を行う。続いて、第１所定値に基づいて、次元拡張された第２初期特徴に対して線形変換を行い、第２変換特徴を得る。例えば、第１所定値に基づいて、次元拡張された第２初期特徴に対して次元削減を行い、第２変換特徴を得る。

ステップＳ１４４において、前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを前記各組の近隣ポイントと対応するデータポイントとの関連関係として決定する。

各組の近隣ポイントの第１変換特徴と第２変換特徴に対してインタラクション処理を行うことで、例えば、各組の近隣ポイントの第１変換特徴と第２変換特徴に対して接続又は乗算などを行うことで、２つの特徴の相互の関係重みを得て、該関係重みを両者の関係パラメータとする。

上記ステップＳ１４１からステップＳ１４４において、「前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定する」ための方式を提供する。該方式において、ポイントクラウドにおける近隣ポイントの相互関係を自己適応的に学習することで、ポイントクラウドデータにおけるキー特徴の抽出を容易にする。

上記ステップＳ１４４の後に、もう１つの所定値を用いて、近隣ポイントの初期特徴に対して線形変換を行い、関連関係を用いて、変換された初期特徴を調整することで、該組の近隣ポイントに対応する関連特徴を得ることができる。即ち、上記ステップＳ２０１は、下記ステップにより実現してもよい。

ステップＳ２１１において、第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得る。

前記第２所定値と第１所定値は、倍関係を有する。第２所定値と第１所定値は、倍関係を有する。例えば、第１所定値は、第２所定値のｎ倍である。一例において、第１所定値を６４とし、第２所定値を３２としてもよい。まず、多層パーセプトロンネットワークを用いて、第１初期特徴に対して線形処理を行う。例えば、第１初期特徴に対して次元拡張を行う。続いて、第２所定値に基づいて、次元拡張された第１初期特徴に対して線形変換を行い、第３変換特徴を得る。

ステップＳ２１２において、前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記各データポイントの関連特徴を決定する。

該関連関係に基づいて、各組の近隣ポイントの第３変換特徴に対して補強を行い、各組の近隣ポイントの第３変換特徴を補強した後に得られた特徴をフュージョンし、該組の近隣ポイントに対応する関連特徴を得る。これにより、第１所定値と倍関係を有する第２所定値を用いて、一組の近隣ポイントの初期特徴に対して線形変換を行う。各データポイントの初期特徴と該組の近隣ポイントの初期特徴との関連関係を用いて、線形変換された近隣ポイントの初期特徴を補強することで、特徴細部がより豊かである関連特徴を得ることができる。

ポイントクラウドデータを取得した後、各データポイントの初期特徴に対して一回目の線形変換を行うことで、線形変換された各データポイントを中心ポイントとして、複数組の近隣ポイントを決定する。これは、下記ステップにより実現してもよい。

ステップ１において、前記各データポイントに対して線形変換を行い、変換された各データポイントを得る。

多層パーセプトロンネットワークを用いて、各データポイントの初期特徴に対して線形変換を行い、変換された初期特徴を各データポイントの初期特徴とする。

ステップ２において、前記変換された各データポイントの複数組の前記近隣ポイントを決定する。

変換された各データポイントを中心ポイントとして、複数組の近隣ポイントを決定する。即ち、「第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得る」ステップの前に、各データポイントに対して線形変換を行った。このように、各データポイントの初期特徴に対して線形変換を行った後、ポイントクラウドセルフアテンションカーネルモジュールに入って、ポイントクラウド内部の構造関係を自己適応的に学習することで、より多くの有効な特徴情報を得ることができる。

１本の残差経路を追加することで、ターゲット特徴抽出プロセスにおける勾配を補充し、ターゲット特徴の更新を実現する。即ち、上記ステップＳ２０２の後に、下記ステップを更に含む。

ステップＳ２０４において、前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得る。

関係補強ネットワークにおいて、スケールが異なる複数組の近隣ポイントを用いることで、各データポイントのターゲット特徴を決定した後、多層パーセプトロンネットワークを用いてターゲット特徴に対して線形変換を行い、それによってターゲット特徴における特徴ベクトルの次元を変更し、コアターゲット特徴を得る。

ステップＳ２０５において、前記各データポイントの第２初期特徴に対して線形変換を行い、前記各データポイントの残差特徴を得る。

関係補強ネットワークにおいて、まず、入力された各データポイントに対して特徴抽出を行い、第２初期特徴を得る。続いて、多層パーセプトロンネットワークを用いて、第２初期特徴に対して線形変換を行い、該残差特徴を得る。これにより、該残差特徴を新規追加される１本の残差経路とすることで、メイン経路に対して複雑な処理を行う過程において、勾配が消失するという問題を解決することができる。

ステップＳ２０６において、前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得る。

関係補強ネットワークにおいて、残差特徴とコアターゲット特徴を要素ごとに加算し、ターゲット特徴に対する更なる補強を実現し、即ち、更新されたターゲット特徴を得る。これにより、１本の残差経路を追加することで、初期特徴に対して複雑な処理を行う過程において消失した特徴の抽出を補充することができる。また、このように最終的に得られた更新したターゲット特徴は、オリジナル特徴情報を考慮しただけでなく、複雑な処理プロセスが行われた特徴情報も考慮した。更に、更新されたターゲット特徴に、より豊かな細部を持たせることができる。

本願は、ポイントクラウド補完ネットワークの訓練方法を提供する。該ポイントクラウド補完ネットワークは、確率生成ネットワーク及び関係補強ネットワークを含み、所定の確率生成ネットワーク及び所定の関係補強ネットワークのネットワークパラメータに対して調整を行うことで、調整済みの確率生成ネットワーク及び調整済みの関係補強ネットワークを得ることができる。従って、訓練済みのポイントクラウド補完ネットワークを得る。該ポイントクラウド補完ネットワークは、上記実施例に適用され、第１ポイントクラウドに対して補完を行い、第２ポイントクラウドを得るために用いられる。ポイントクラウド補完ネットワークの訓練プロセスは、図２Ｂに示す通りである。図２Ｂは、本願の実施例によるポイントクラウド補完ネットワークの訓練方法の実現フローを示す概略図である。図２Ｂに示すステップを参照しながら、以下のように説明する。

ステップＳ２７１において、第１サンプルポイントクラウドを取得する。

第１サンプルポイントクラウドは、任意の対象に対して収集して得られた三次元ポイントクラウドデータ、又は受信した、他の機器からの３Ｄポイントクラウドデータであってもよい。該第１サンプルポイントクラウドに、形状が不完全であるサンプル不完全ポイントクラウド及び前記サンプル不完全ポイントクラウドに対応するサンプル完全ポイントクラウドが含まれる。例えば、サンプル不完全ポイントクラウドは、１つの角度で電気スタンドに対して収集した一部のポイントクラウドデータであり、サンプル完全ポイントクラウドは、該角度で収集できる電気スタンド画像の全てのポイントクラウドデータである。

ステップＳ２７２において、所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定する。

所定の確率生成ネットワークのネットワークアーキテクチャは、完全な第１サンプルポイントクラウドを入力とした上部再構成経路及びサンプル不完全ポイントクラウドを入力とした下部補完経路という２本の経路を含む。上部再構成経路は、所定の確率生成ネットワークのみを訓練するために用いられ、該所定の確率生成ネットワークの訓練を完了した後、下部補完経路により、第１ポイントクラウドに対する補完プロセスを実現する。第１サンプルポイントクラウドを所定の確率生成ネットワークに入力する。上部再構成経路及び下部補完経路において、入力された第１サンプルポイントクラウドに対してそれぞれ変分オート符号化を行い、第１サンプルポイントクラウドの条件付き確率分布を決定する。所定の確率生成ネットワークの上部再構成経路及び下部補完経路で重みを共有しており、即ち、所定の確率生成ネットワークにおいて、上部再構成経路及び下部補完経路という２本の経路により、所定の確率生成ネットワークにおけるネットワークパラメータに対して調整を行う。

確率生成ネットワークの変分オートエンコーダを用いて、第１サンプルポイントクラウドにおけるサンプル完全ポイントクラウド及びサンプル不完全ポイントクラウドに対して符号化を行い、符号化後のポイントクラウドを線形残差モジュールで処理することで、サンプル完全ポイントクラウド及びサンプル不完全ポイントクラウドの条件付き確率分布を迅速に決定することができる。即ち、上記ステップＳ２７２は、下記ステップにより実現してもよい。

ステップＳ２７２１において、前記所定の確率生成ネットワークを用いて、前記サンプル不完全ポイントクラウドに対して変分符号化を行い、前記サンプル不完全ポイントクラウドの第１確率分布を決定する。

サンプル不完全ポイントクラウドを所定の確率生成ネットワークの下部補完経路５０２に入力する。まず、第１共有多層パーセプトロンネットワークを用いて、入力されたサンプル不完全ポイントクラウドの特徴次元を１２８に変換する。次に、第２共有多層パーセプトロンネットワークを用いて、特徴次元が１２８であるポイントクラウド特徴を次元が２５６であるポイントクラウド特徴に変換する。更に、次元が２５６であるポイントクラウド特徴をプーリング層に入力し、最大プーリング処理を行う。更に、プーリング処理結果と次元が２５６であるポイントクラウド特徴を要素ごとに乗算する。更に、乗算結果を第３共有多層パーセプトロンネットワークに入力し、特徴次元が２５６であるポイントクラウド特徴を次元が５１２であるポイントクラウド特徴に変換する。更に、第４共有多層パーセプトロンネットワークを用いて、特徴次元が５１２であるポイントクラウド特徴を次元が１０２４であるポイントクラウド特徴に変換する。最後に、次元が１０２４であるポイントクラウド特徴をプーリング層に入力し、最大プーリング処理を行い、サンプル符号化ポイントクラウドを得る。サンプル符号化ポイントクラウドに対して残差処理を行うことで、該サンプル残差ポイントクラウドの第１確率分布を得る。

ステップＳ２７２２において、前記所定の確率生成ネットワークを用いて、前記サンプル完全ポイントクラウドに対して変分符号化を行い、前記サンプル完全ポイントクラウドの第２確率分布を決定する。

サンプル完全ポイントクラウドを所定の確率生成ネットワークの上部再構成経路に入力し、複数の共有多層パーセプトロンネットワークを用いて、入力されたサンプル完全ポイントクラウドのポイントクラウド特徴を特徴次元が１０２４であるポイントクラウド特徴に変換する。最後に、次元が１０２４であるポイントクラウド特徴をプーリング層に入力し、最大プーリング処理を行い、サンプル符号化ポイントクラウドを得る。サンプル符号化ポイントクラウドに対して残差処理を行うことで、該サンプル完全ポイントクラウドの第２確率分布を得る。このように、所定の確率生成ネットワークで、上部再構成経路において、変分オートエンコーダは、サンプル完全ポイントクラウドを入力とし、入力ポイントクラウドが固定値である場合に生成された特徴の条件付き確率分布を学習する。続いて、変分オートエンコーダは、該ポイントクラウド特徴に基づいて、ポイントクラウドを再構成し、同時に、入力特徴が固定値である場合に生成されたポイントクラウドの条件付き確率分布を学習している。ポイントクラウド補完経路も変分オートエンコーダにより構成される。該変分オートエンコーダのエンコーダ及びデコーダのパラメータは、ポイントクラウド再構成経路におけるパラメータと一致している。ポイントクラウド補完経路は、不完全なポイントクラウドを入力とし、その中から、入力ポイントクラウドが固定である場合に生成された特徴の条件付き確率分布を学習する。これにより、それぞれ上部再構成経路及び下部補完経路により、サンプル完全ポイントクラウド及びサンプル不完全ポイントクラウドに対して変分符号化を行い、第２確率分布及び第１確率分布を決定する。従って、所定の確率生成ネットワークは、入力ポイントクラウドが固定値である場合に生成された特徴の条件付き確率分布を学習できるだけでなく、入力特徴が固定値である場合に生成されたポイントクラウドの条件付き確率分布を学習することもできる。

ステップＳ２７２３において、前記第１確率分布及び前記第２確率分布に基づいて、前記サンプル確率分布を得る。

第１確率分布と第２確率分布を組み合わせて、第１サンプルポイントクラウドのサンプル確率分布を構成する。

ステップＳ２７３において、前記サンプル確率分布に基づいて、第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得る。

該サンプル確率分布に基づいて、第１サンプルポイントクラウドに対してサンプリングを行い、サンプリングポイントで、第１サンプルポイントクラウドの完全な形状を予測することで、大ざっぱに推定された第１予測ポイントクラウドを得る。

サンプル不完全ポイントクラウド及びサンプル完全ポイントクラウドに対してそれぞれ予測を行い、サンプル不完全ポイントクラウドの大ざっぱな輪郭及びサンプル完全ポイントクラウドの再構成ポイントクラウドを得る。即ち、上記ステップＳ２７３は、下記ステップにより実現してもよい。

ステップＳ２７３１において、前記サンプル確率分布における第１確率分布に基づいて、前記サンプル不完全ポイントクラウドに対して補完を行い、サンプル初級補完ポイントクラウドを得る。

所定の確率生成ネットワークの下部補完経路において、該サンプル不完全ポイントクラウドの第１確率分布に基づいて、サンプリングを行い、サンプリングポイントに基づいて、該ポイントクラウドの輪郭を大ざっぱに推定することで、大ざっぱな完全ポイントクラウドを生成し、即ち、サンプル初級補完ポイントクラウドを生成する。複数の線形残差モジュールを用いて、変分オートエンコーダから出力されたポイントクラウド特徴に対して残差処理を行い、サンプル残差ポイントクラウドの条件付き確率分布を得る。該条件付き確率分布に基づいて、ポイントクラウド特徴に対してサンプリングを行い、サンプリング結果と変分オートエンコーダから出力されたポイントクラウド特徴を要素ごとに加算する。加算結果を全結合層に入力し、大ざっぱな完全ポイントクラウドを得る。即ち、サンプル初級補完ポイントクラウドを得る。これにより、入力されたサンプル不完全ポイントクラウド自体に含まれる細部を大幅に保持することができる。

ステップＳ２７３２において、前記サンプル確率分布における前記第２確率分布及び前記第１確率分布に基づいて、前記サンプル完全ポイントクラウドを再構成し、再構成完全ポイントクラウドを得る。

サンプル不完全ポイントクラウドの第１確率分布及びサンプル完全ポイントクラウドの第２確率分布を総合的に考慮し、サンプル完全ポイントクラウドに対してサンプリングを行うことで、該サンプル完全ポイントクラウドの再構成ポイントクラウドを再構成し、即ち、再構成完全ポイントクラウドを得る。上部再構成経路において、複数の線形残差モジュールにより不完全ポイントクラウドＸに対して残差処理を行うことで得られた条件付き確率分布と、１つの線形残差モジュールにより完全ポイントクラウドＹに対して残差処理を行うことで得られた条件付き確率分布と、を要素ごとに加算し、加算結果を全結合層に入力し、再構成ポイントクラウドを得る。即ち、再構成完全ポイントクラウドを得る。

ステップＳ２７３３において、前記サンプル初級補完ポイントクラウド及び前記再構成完全ポイントクラウドを前記第１予測ポイントクラウドとして決定する。

サンプル初級補完ポイントクラウドと前記再構成完全ポイントクラウドを結合して第１予測ポイントクラウドとし、所定の確率生成ネットワークのネットワークパラメータを共同で調整することで、不完全ポイントクラウドの完全な輪郭を正確に予測できる確率生成ネットワークを得る。

確率生成ネットワークを訓練する過程において、埋め込み型グローバル特徴及び学習した隠れた分布に基づいて、おおざっぱに予測を行う。二重経路アーキテクチャを用いて、確率生成ネットワークの訓練を実現する。該アーキテクチャは、２つの並行経路を含み、即ち、不完全ポイントクラウドに対応する完全ポイントクラウドＹの上部再構成経路及び不完全ポイントクラウドＸの下部補完経路である。ここで、確率生成ネットワークを訓練する過程で、上部再構成経路において、まず、不完全ポイントクラウドに対応する完全ポイントクラウドＹを入力とすることで、入力ポイントクラウドが固定する場合のポイントクラウドの特徴の確率分布を学習する。次に、完全ポイントクラウドＹを変分オートエンコーダに入力し、変分オートエンコーダは、完全ポイントクラウドＹの特徴に基づいて、ポイントクラウドを再構成すると同時に、入力特徴が固定値である場合に生成されたポイントクラウドの確率分布を学習する。オートエンコーダの出力結果を単一の線形残差モジュールに入力し、条件付き確率分布（即ち、第２確率分布）を得る。続いて、条件付き確率分布に対してサンプリングを行い、サンプリングポイントと下部補完経路により得られたサンプリングポイントを要素ごとに加算し、加算結果を全結合層に入力し、再構成ポイントクラウドを得る。それと同時に、ネットワークのポイントクラウド再構成能力を訓練するために、生成された完全ポイントクラウドと入力された真実の完全ポイントクラウドとの類似度を算出し、該類似度を損失関数の一部とする。

下部補完経路において、不完全ポイントクラウドＸを入力とすることで、その中から、入力ポイントクラウドが固定値である場合に生成されたポイントクラウド特徴の確率分布を学習する。ポイントクラウド補完経路が学習した特徴確率分布と対応するポイントクラウド再構成経路が学習した特徴確率分布を類似させるために、該２つの分布のＫＬダイバージェンスを訓練された損失関数に加える。不完全ポイントクラウドＸを変分オートエンコーダに入力する（ここで、変分オートエンコーダのパラメータは、変分オートエンコーダのエンコーダ及びデコーダのパラメータと一致している）。出力結果を複数の線形残差モジュールに入力し、条件付き確率分布（即ち、第１確率分布）を得る。続いて、条件付き確率分布に基づいて、不完全ポイントクラウドに対してサンプリングを行い、サンプリングポイントと複数の線形残差モジュールから出力された結果を要素ごとに加算する。加算結果を全結合層に入力し、大ざっぱな完全ポイントクラウド（即ち、第１予測ポイントクラウド）を得る。

ステップＳ２７４において、所定の関係補強ネットワークを用いて、第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第１サンプルポイントクラウドの第２予測ポイントクラウドを得る。

第１サンプルポイントクラウド及び処理により得られた第１予測ポイントクラウドを所定の関係補強ネットワークの入力とし、所定の関係補強ネットワークにおいて、局所的近隣ポイントの特徴及び近隣ポイントとの関係を集約することで、ポイントクラウド内の構造関係を学習する。更に、ポイントクラウドにおける近隣ポイントの相互関係を自己適応的に学習することで、第１ポイントクラウドの重要かつ豊かなポイントクラウド特徴を抽出することができる。所定の関係補強ネットワークに、ポイントクラウドセルフアテンションカーネルモジュール、ポイントクラウド選択カーネルモジュール及び残差ポイント選択カーネルモジュールという３つのモジュールが含まれる。該３つのモジュールにより、ポイントクラウドの複数のスケールでの近隣ポイント関係に基づいて、第１サンプルポイントクラウドの全体的な形状の特徴を学習して推定し、合理的な真実の全体的な形状である第２サンプルポイントクラウドを更に生成して補完する。

ステップＳ２７５において、前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行う。

所定の確率生成ネットワークに対して訓練を行う過程において、第１予測ポイントクラウドを得た後に、該第１予測ポイントクラウドの損失を決定し、該損失に基づいて、所定の確率生成ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの確率生成ネットワークを得る。訓練待ちの補強ネットワークを訓練する過程において、第２予測ポイントクラウドを得た後に、該第２予測ポイントクラウドの損失を決定し、該損失に基づいて、訓練待ちの補強ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの関係補強ネットワークを得る。

所定の確率生成ネットワークを訓練する過程において、変分オートエンコーダにより生成された条件付き確率分布とガウス分布との類似度、及び、生成された大ざっぱな完全ポイントクラウドと入力された真実の完全ポイントクラウドとの類似度を考慮することで、所定の確率生成ネットワークの２つの経路の損失関数を生成する。該２つの経路の損失関数に基づいて、所定の確率生成ネットワークの損失関数を得る。その実現プロセスは以下の通りである。

ステップ１において、前記第１確率分布と第２確率分布との類似度、及び前記サンプル初級補完ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、補完損失を決定する。

（ＫｕｌｌｂａｃＫＬｅｉｂｌｅｒ Ｄｉｖｅｒｇｅｎｃｅ：ＫＬ）ダイバージェンスを用いて、サンプル不完全ポイントクラウドの第１確率分布とサンプル完全ポイントクラウドの第２確率分布との類似度を決定する。また、期待推定を用いて、下部補完経路により得られたサンプル不完全ポイントクラウドの大ざっぱな輪郭を表すサンプル初級補完ポイントクラウドとサンプル完全ポイントクラウドとの類似度を決定し、補完損失を得る。

ステップ２において、前記第２確率分布と所定標準分布との類似度、及び前記再構成完全ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、第１再構成損失を決定する。

ＫＬダイバージェンスを用いて、サンプル完全ポイントクラウドの第２確率分布とガウス分布との類似度を決定し、また、期待推定を用いて、上部再構成経路により得られた再構成完全ポイントクラウドとサンプル完全ポイントクラウドとの類似度を決定し、第１再構成損失を得る。これにより、下部補完経路で学習して得られた条件付き確率分布と対応するポイントクラウド再構成経路で学習して得られた条件付き確率分布を類似させるために、該２つの条件付き確率分布のＫＬダイバージェンスを訓練された損失関数に加える。それと同時に、訓練された損失関数に、生成されたサンプル初級補完ポイントクラウドと真実のサンプル完全ポイントクラウドとの類似度を加えることで、下部補完経路により生成された大ざっぱな完全ポイントクラウド（即ち、サンプル初級補完ポイントクラウド）と入力されたサンプル不完全ポイントクラウドに対応するサンプル完全ポイントクラウドを類似させる。

ステップ３において、前記補完損失及び前記第１再構成損失に基づいて、所定の確率生成ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの前記確率生成ネットワークを得る。

補完損失と第１再構成損失を結合し、所定の確率生成ネットワークのネットワークパラメータに対して調整を行うことで、所定の確率生成ネットワークから出力された損失関数が収束要件を満たすようにし、これにより、調整済みの確率生成ネットワークを得る。このように、該所定の確率生成ネットワークを訓練する時に、ＫＬダイバージェンスを損失関数の一部として導入する。入力ポイントクラウドが固定値である場合に生成された特徴の条件付き確率分布をガウス分布に近くする。それと同時に、生成された再構成完全ポイントクラウドと入力されたサンプル完全ポイントクラウドとの類似度を算出し、該類似度を損失関数の一部とすることで、ネットワークのポイントクラウド再構成能力を訓練することができる。

上記ステップ１からステップ３により、所定の確率生成ネットワークの訓練を実現し、これにより、調整済みの確率生成ネットワークは、入力された補完対象ネットワークに対して、完全な形状の大ざっぱなポイントクラウドを生成することができる。即ち、初級補完ポイントクラウドを生成する。

所定の関係補強ネットワークに対する訓練プロセスは、下記ステップを含む。

ステップ１において、前記第２サンプルポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、第２再構成損失を決定する。

所定の確率生成ネットワークから出力された初級補完ポイントクラウド及び入力されたサンプル不完全ポイントクラウドを所定の関係補強ネットワークに入力し、ポイントクラウドにおける各データポイントと複数組の近隣ポイントとの構造的関係により、入力されたポイントクラウド特徴に対して補強を行い、より精細な特徴を有する第２サンプルポイントクラウドを得、期待推定を用いて、生成された第２サンプルポイントクラウドとサンプル完全ポイントクラウドとの類似度を決定することで、所定の関係補強ネットワークの再構成損失である第２再構成損失を得る。

ステップ２において、前記第２再構成損失に基づいて、前記所定の関係補強ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの前記関係補強ネットワークを得る。

第２再構成損失を用いて、所定の関係補強ネットワークのネットワークパラメータに対して調整を行う。これにより、所定の関係補強ネットワークから出力された損失関数が収束要件を満たすようにする。従って、調整済みの関係補強ネットワークを得る。このように、確率生成ネットワークにより生成された初級補完ポイントクラウドと入力されたサンプル不完全ポイントクラウドを組み合わせ、関係補強ネットワークに入力する。該関係補強ネットワークにおいて、ポイントクラウド選択モジュールを利用することで、異なる規模のポイントクラウドの間の構造的関係を学習する。これにより、ポイントクラウド補完ネットワークの精度を向上させる。

第１予測ポイントクラウドとサンプル不完全ポイントクラウドＸを連結し、関係補強ネットワークに入力し、精細な完全ポイントクラウド（即ち、第２予測ポイントクラウド）を得る。ここで、訓練された損失関数に、生成されたポイントクラウドと真実のポイントクラウドとの類似度を加えることで、ポイントクラウド補完経路により生成された大ざっぱな完全ポイントクラウドと入力された不完全ポイントクラウドに対応する真実の完全ポイントクラウドを類似させる。

ステップＳ２７６において、パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成する。

調整済みの確率生成ネットワークの出力を初期入力された第１ポイントクラウドと組み合わせ、調整済みの関係補強ネットワークの入力とし、ポイントクラウド補完ネットワークを構成する。

本願の実施例において、該２つのネットワークにより、ポイントクラウド補完ネットワークに対する訓練を実現し、入力された不完全ポイントクラウドを根拠とし、入力された不完全ポイントクラウドの細部を保持すると同時に合理的な高精度ポイントクラウドを生成することができる。

以下、１つの実際の適用シーンにおける本願の実施例の例示的な適用を説明する。変分関連ポイントクラウド補完ネットワークにより入力ポイントクラウドに対して補完を行うことを例として説明する。

本願の実施例は、変分関連ポイントクラウド補完ネットワーク（Ｖａｒｉａｔｉｏｎａｌ Ｒｅｌａｔｉｏｎａｌ Ｐｏｉｎｔ Ｃｏｍｐｌｅｔｉｏｎ Ｎｅｔｗｏｒｋ：ＶＲＣＮｅｔ）を提供する。該ネットワークは、２つの連続したエンコーダデコーダサブネットワークからなり、確率生成及び関係補強にそれぞれ用いられる。確率生成ネットワークは、平滑な完全形状を先験的データとして、２つの平行な経路からなる二重経路システム構造により生成された大ざっぱな完全度を改良する。該２つの平行な経路は、１）完全ポイントクラウドの再構成経路と２）不完全ポイントクラウドの補完経路である。訓練過程において、本願の実施例は、不完全ポイントクラウドの符号化のアポステリオリ推理と完全ポイントクラウドの先験的推理との一致性を規範化する。確率生成ネットワークにより生成された大ざっぱな全体骨格によれば、関係補強ネットワークは、マルチスケールの局所的ポイントクラウド特徴を学習することで、構造的関係を補強する。本願の実施例は、固定重みの代わりに、ポイントクラウドセルフアテンションカーネルモジュールを関係補強ネットワークの基本構築ブロックとして用いる。ポイントクラウドセルフアテンションカーネルモジュールは、隣接ポイントクラウド間の関連関係に基づいて、重みを自己適応的に予測することで、局所的ポイントクラウド特徴をインターリービングする。本願の実施例は、ポイント選択カーネルモジュール（Ｐｏｉｎｔ Ｓｅｌｅｃｔｉｖｅ Ｋｅｒｎｅｌ Ｍｏｄｕｌｅ：ＰＳＫ）を提供する。該モジュールは、異なるカーネルサイズを有する複数の分岐を利用することで、マルチスケールポイント特徴を利用してフュージョンし、関係補強ネットワークの性能を更に向上させる。

一例において、第１ポイントクラウドデータがゲームシーンから収集されたポイントクラウドデータであり、ゲームシーンにおけるゲームに対して、ポイントクラウド収集装置を用いて、該ゲームが位置するゲームテーブル、プレイヤー及びゲーム内通貨などに対して画像収集を行い、第１ポイントクラウドを得る。ゲームシーンにおいて、プレイヤーは、頭を下げてゲーム内通貨を見るか又はチャートする可能性があるため、この場合、プレイヤーの完全な顔画像を収集しにくい。又は、プレイヤーの手で遮蔽されるなどの状況により、収集されたゲーム内通貨画像も不完全なものである。従って、遮蔽などにより、単一のポイントクラウド収集装置により収集された第１ポイントクラウドは不完全なものである。不完全なポイントクラウドデータにより、プレイヤー間の位置関係を正確に検出することができない。本願の実施例において、まず、プレイヤー画像を表す該第１ポイントクラウドの確率分布を決定することで、第１ポイントクラウドの合理的な輪郭を予測し、第１ポイントクラウド形状に符合する初級補完ポイントクラウドだけでなく、合理的である初級補完ポイントクラウドを得る。続いて、得られた初級補完ポイントクラウドと第１ポイントクラウドを組み合わせ、連結ポイントクラウドを得る。連結ポイントクラウドにおけるポイントデータに対して、複数の異なるスケールの近隣ポイントクラウドを決定し、複数組の近隣ポイントクラウドと連結ポイントクラウドとの関連関係に基づいて、連結ポイントクラウドに対して調整を行い、該プレイヤー画像の第１ポイントクラウドを補完した第２ポイントクラウドを得る。このように、連結ポイントクラウドの異なるスケールの複数組の近隣ポイントの構造的関係により、初級補完ポイントクラウドの精度を向上させ、精度が高いポイントクラウド細部を有する第２ポイントクラウドを得る。このように、不完全な第１ポイントクラウドに対して補完及び特徴補強を行い、精度が高い細部を有する第２ポイントクラウドを用いることで、ゲーム対象間の位置関係に対する検出の正確度を向上させることができる。

本願の実施例は、ポイントクラウド補完装置を提供する。図３Ａは、該ポイントクラウド補完装置の構造を示す概略図である。

図３Ａに示すように、前記ポイントクラウド補完装置３００は、取得した第１ポイントクラウドの確率分布を決定するように構成される第１決定モジュール３０１と、前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得るように構成される第１補完モジュール３０２と、前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得るように構成される第１連結モジュール３０３と、前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定するように構成される第２決定モジュール３０４と、前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得るように構成される第１調整モジュール３０５と、を備える。

前記第１決定モジュール３０１は、前記第１ポイントクラウドに対して変分符号化を行い、符号化ポイントクラウドを得るように構成される第１符号化サブモジュールと、前記符号化ポイントクラウドに対して残差処理を行い、残差ポイントクラウドを得るように構成される第１処理サブモジュールと、前記残差ポイントクラウドに基づいて、前記確率分布を決定するように構成される第１決定サブモジュールと、を備える。

前記第１補完モジュール３０２は、前記確率分布に基づいて、前記第１ポイントクラウドが属する対象の第１外観形状を予測するように構成される第１予測サブモジュールと、前記第１ポイントクラウドで表される前記対象の第２外観形状を決定するように構成される第２決定サブモジュールであって、前記第１外観形状の完全度は、前記第２外観形状の完全度よりも高い、第２決定サブモジュールと、前記第１外観形状に基づいて、前記第２外観形状に対して補完を行い、前記初級補完ポイントクラウドを得るように構成される第１補完サブモジュールと、を備える。

前記第１調整モジュール３０５は、前記連結ポイントクラウドにおける各データポイントと対応する複数組の近隣ポイントとの関連関係に基づいて、前記各データポイントの関連特徴を決定するように構成される第３決定サブモジュールと、前記各データポイントの関連特徴に基づいて、前記各データポイントのターゲット特徴を決定するように構成される第４決定サブモジュールと、前記連結ポイントクラウドにおける各データポイントのターゲット特徴に基づいて、前記第１ポイントクラウドを補完した第２ポイントクラウドを得るように構成される第５決定サブモジュールと、を備える。

前記第３決定サブモジュールは、前記複数組の近隣ポイントに対応する各データポイントの関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第１プーリングユニットと、前記プーリング特徴に基づいて、前記各データポイントと対応する各組の近隣ポイントとの組関連度を決定するように構成される第２決定ユニットと、前記組関連度及び前記関連特徴に基づいて、前記各データポイントのターゲット特徴を決定するように構成される第３決定ユニットと、を備える。

前記第２決定ユニットは、前記プーリング特徴に基づいて、前記各データポイントと対応する前記各組の近隣ポイントのうちの各近隣ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第１決定サブユニットと、前記ポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第２決定サブユニットと、を備える。

前記第３決定ユニットは、前記各組の組関連度に基づいて、前記各データポイントの関連特徴に対して調整を行い、各組の近隣ポイントに対応する調整済み関連特徴を得るように構成される第１調整サブユニットと、前記各データポイントの複数組の近隣ポイントに対応する前記調整済み関連特徴をフュージョンし、前記各データポイントのターゲット特徴を得るように構成される第１フュージョンサブユニットと、を備える。

前記第２決定モジュール３０４は、前記各組の近隣ポイントの第１初期特徴及び前記連結ポイントクラウドにおける各データポイントの第２初期特徴をそれぞれ決定するように構成される第６決定サブモジュールと、第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得るように構成される第１変換サブモジュールと、前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得るように構成される第２変換サブモジュールと、前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを前記各組の近隣ポイントと対応するデータポイントとの関連関係として決定するように構成される第１関連サブモジュールと、を備える。

前記第３決定サブモジュールは、第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得るように構成される第１変換ユニットであって、前記第２所定値と第１所定値は、倍関係を有する、第１変換ユニットと、前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記各データポイントの関連特徴を決定するように構成される第３決定ユニットと、を備える。

前記装置は、前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第１変換モジュールと、前記各データポイントの第２初期特徴に対して線形変換を行い、前記各データポイントの残差特徴を得るように構成される第２変換モジュールと、前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第１更新モジュールと、を更に備える。

本願の実施例は、ポイントクラウド補完ネットワークの訓練装置を提供する。図３Ｂは、該訓練装置の構造を示す概略図である。

図３Ｂに示すように、前記ポイントクラウド補完ネットワークの訓練装置３２０は、第１サンプルポイントクラウドを取得するように構成される第１取得モジュール３２１と、所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定するように構成される第３決定モジュール３２２と、前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得るように構成される第１予測モジュール３２３と、所定の関係補強ネットワークを用いて、前記第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第２予測ポイントクラウドを得るように構成される第１調整モジュール３２４と、前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うように構成される第１訓練モジュール３２５と、パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成するように構成される第４決定モジュール３２６と、を備える。

前記第１サンプルポイントクラウドは、形状が不完全であるサンプル不完全ポイントクラウド及び前記サンプル不完全ポイントクラウドに対応するサンプル完全ポイントクラウドを含む。

前記第３決定モジュール３２２は、前記所定の確率生成ネットワークを用いて、前記サンプル不完全ポイントクラウドに対して変分符号化を行い、前記サンプル不完全ポイントクラウドの第１確率分布を決定するように構成される第２符号化サブモジュールと、前記所定の確率生成ネットワークを用いて、前記サンプル完全ポイントクラウドに対して変分符号化を行い、前記サンプル完全ポイントクラウドの第２確率分布を決定するように構成される第３符号化サブモジュールと、前記第１確率分布及び前記第２確率分布に基づいて、前記サンプル確率分布を得るように構成される第７決定サブモジュールと、を備える。

前記第１予測モジュール３２３は、前記サンプル確率分布における第１確率分布に基づいて、前記サンプル不完全ポイントクラウドに対して補完を行い、サンプル初級補完ポイントクラウドを得るように構成される第２補完サブモジュールと、前記サンプル確率分布の第２確率分布及び前記第１確率分布に基づいて、前記サンプル完全ポイントクラウドを再構成し、再構成完全ポイントクラウドを得るように構成される第１再構成サブモジュールと、前記サンプル初級補完ポイントクラウド及び前記再構成完全ポイントクラウドを前記第１予測ポイントクラウドとして決定するように構成される第８決定サブモジュールと、を備える。

前記第１訓練モジュール３２５は、前記第１確率分布と第２確率分布との類似度、及び前記サンプル初級補完ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、補完損失を決定するように構成される第９決定サブモジュールと、前記第２確率分布と所定標準分布との類似度、及び前記再構成完全ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、第１再構成損失を決定するように構成される第１０決定サブモジュールと、前記補完損失及び前記第１再構成損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの前記確率生成ネットワークを得るように構成される第１調整サブモジュールと、を備える。

前記第１訓練モジュール３２５は、前記第２予測ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、第２再構成損失を決定するように構成される第１１決定サブモジュールと、前記第２再構成損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行い、前記パラメータを調整済みの関係補強ネットワークを得るように構成される第１訓練サブモジュールと、を備える。

上記装置の実施例に関する記述は、上記方法の実施例に関する記述と類似しており、方法の実施例と同様な有益な効果を持つことに留意されたい。本願の装置の実施例に開示されていない技術的細部について、本願の方法の実施例に関する記述を参照しながら理解すべきである。

上述したポイントクラウド補完方法は、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（端末、サーバなど）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。従って、本願の実施例は、如何なる特定のハードウェアとソフトウェアとの組み合わせにも限定されない。

これに対応して、本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ実行可能命令を含み、該コンピュータ実行可能命令が実行された後、本願の実施例で提供されるポイントクラウド補完方法におけるステップを実現することができる。

これに対応して、本願の実施例は、コンピュータ記憶媒体を更に提供する。前記コンピュータ記憶媒体にコンピュータ実行可能命令が記憶されており、該コンピュータ実行可能命令がプロセッサにより実行される時、上記実施例で提供されるポイントクラウド補完方法のステップを実現する。

これに対応して、本願の実施例は、コンピュータ機器を提供する。図４は、本願の実施例によるコンピュータ機器の構造を示す概略図である。図４に示すように、前記機器４００は、プロセッサ４０１、少なくとも１つの通信バス、通信インターフェース４０２、少なくとも１つの外部通信インターフェース及びメモリ４０３を備える。ここで、通信インターフェース４０２は、これらのコンポーネント間の接続通信を実現するように構成される。ここで、通信インターフェース４０２は、ディスプレイを含んでもよい。外部通信インターフェースは、標準的な有線インターフェース及び無線インターフェースを含んでもよい。ここで、前記プロセッサ４０１は、メモリにおける画像処理プログラムを実行し、上記ポイントクラウド補完方法のステップを実現するように構成される。

上記ポイントクラウド補完装置、コンピュータ機器及び記憶媒体の実施例に関する記述は、上記方法の実施例に関する記述と類似しており、該当する方法の実施例と同様な技術的記述及び有益な効果を持つ。紙数に限りがあるため、上記方法の実施例の記載を参照することができる。ここで、詳細な説明を省略する。本願のポイントクラウド補完装置、コンピュータ機器及び記憶媒体の実施例に開示されていない技術的細部について、本願の方法の実施例に関する記述を参照しながら理解すべきである。

明細書全文を通じて述べられる「１つの実施例」または「一実施例」は、実施例に関連する特定の特徴、構造または特性が、本願の少なくとも１つの実施例に含まれることを意味すると理解されたい。従って、本明細書全体を通じて出現する「１つの実施例において」又は「一実施例において」は、同じ実施例を指すとは限らない。また、これらの特定の特徴、構造または特性は、任意かつ適切な方式で１つまたは複数の実施例に組み入れられることができる。本願の各実施例において、上記各プロセスの番号の大きさは、実行順の前後を意味するのではなく、各プロセスの実行順は、その機能および内在的な論理によって確定されるものであり、本発明の実施例の実施プロセスに対しいっさい限定を構成しないと理解すべきである。上記の本発明に係る実施例の番号は、ただ、記述するためのものであり、実施例の優劣を代表しない。本明細書において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図される。従って、一連の要素を含むプロセス、方法、品目又は装置は、これらの要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このようなプロセス、方法、品目又は装置に固有の要素も含む。更なる限定が存在しない場合、“・・・を含む”なる文章によって規定される要素は、該要素を有するプロセス、方法、品目又は装置内に、同じ要素が更に存在することを排除しない。

開示される機器及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した機器の実施例はただ例示的なものである。例えば、前記ユニットの分割はただロジック機能の分割であり、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。

また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。プログラム命令に関わるハードウェアにより、上記方法の実施例の全て又は一部のステップを完了することができ、上述したプログラムは、コンピュータ可読記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例のステップを実行することは、当業者であれば理解すべきである。上述した記憶媒体は、携帯型記憶機器、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

又は、本願の上記集積ユニットは、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ、又はネットワーク装置など）に、本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶機器、ＲＯＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。以上は本願の具体的な実施形態に過ぎず、本願の保護範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

本願の実施例は、ポイントクラウド補完ネットワークの訓練装置を提供する。前記装置は、第１サンプルポイントクラウドを取得するように構成される第１取得モジュールと、所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定するように構成される第３決定モジュールと、前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得るように構成される第１予測モジュールと、所定の関係補強ネットワークを用いて、前記第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第２予測ポイントクラウドを得るように構成される第１調整モジュールと、前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うように構成される第１訓練モジュールと、パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成するように構成される第４決定モジュールと、を備える。
例えば、本願は以下の項目を提供する。
（項目１）
ポイントクラウド補完方法であって、
取得した第１ポイントクラウドの確率分布を決定することと、
前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得ることと、
前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得ることと、
前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定することと、
前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得ることと、を含む、ポイントクラウド補完方法。
（項目２）
取得した第１ポイントクラウドの確率分布を決定することは、
前記第１ポイントクラウドに対して変分符号化を行い、符号化ポイントクラウドを得ることと、
前記符号化ポイントクラウドに対して残差処理を行い、残差ポイントクラウドを得ることと、
前記残差ポイントクラウドに基づいて、前記確率分布を決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得ることは、
前記確率分布に基づいて、前記第１ポイントクラウドが属する対象の第１外観形状を予測することと、
前記第１ポイントクラウドで表される前記対象の第２外観形状を決定することであって、前記第１外観形状の完全度は、前記第２外観形状の完全度よりも高い、ことと、
前記第１外観形状に基づいて、前記第２外観形状に対して補完を行い、前記初級補完ポイントクラウドを得ることと、を含むことを特徴とする
項目１に記載の方法。
（項目４）
前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得ることは、
前記連結ポイントクラウドにおける各データポイントと対応する複数組の近隣ポイントとの関連関係に基づいて、前記各データポイントの関連特徴を決定することと、
前記各データポイントの関連特徴に基づいて、前記各データポイントのターゲット特徴を決定することと、
前記連結ポイントクラウドにおける各データポイントのターゲット特徴に基づいて、前記第１ポイントクラウドを補完した第２ポイントクラウドを得ることと、を含むことを特徴とする
項目１に記載の方法。
（項目５）
前記各データポイントの関連特徴に基づいて、前記各データポイントのターゲット特徴を決定することは、
前記複数組の近隣ポイントに対応する各データポイントの関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
前記プーリング特徴に基づいて、前記各データポイントと対応する各組の近隣ポイントとの組関連度を決定することと、
前記組関連度及び前記関連特徴に基づいて、前記各データポイントのターゲット特徴を決定することと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
前記プーリング特徴に基づいて、前記各データポイントと対応する各組の近隣ポイントとの組関連度を決定することは、
前記プーリング特徴に基づいて、前記各データポイントと対応する前記各組の近隣ポイントのうちの各近隣ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
前記ポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含むことを特徴とする
項目５に記載の方法。
（項目７）
前記組関連度及び前記関連特徴に基づいて、前記各データポイントのターゲット特徴を決定することは、
前記各組の組関連度に基づいて、前記各データポイントの関連特徴に対して調整を行い、各組の近隣ポイントに対応する調整済み関連特徴を得ることと、
前記各データポイントの複数組の近隣ポイントに対応する前記調整済み関連特徴をフュージョンし、前記各データポイントのターゲット特徴を得ることと、を含むことを特徴とする
項目５に記載の方法。
（項目８）
前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定することは、
前記各組の近隣ポイントの第１初期特徴及び前記連結ポイントクラウドにおける各データポイントの第２初期特徴をそれぞれ決定することと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得ることと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得ることと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを前記各組の近隣ポイントと対応するデータポイントとの関連関係として決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目９）
前記連結ポイントクラウドにおける各データポイントと対応する複数組の近隣ポイントとの関連関係に基づいて、前記各データポイントの関連特徴を決定することは、
第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得ることであって、前記第２所定値と第１所定値は、倍関係を有する、ことと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記各データポイントの関連特徴を決定することと、を含むことを特徴とする
項目４から７のうちいずれか一項に記載の方法。
（項目１０）
前記各データポイントの関連特徴に基づいて、前記各データポイントのターゲット特徴を決定した後、前記方法は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
前記各データポイントの第２初期特徴に対して線形変換を行い、前記各データポイントの残差特徴を得ることと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
項目５から９のうちいずれか一項に記載の方法。
（項目１１）
ポイントクラウド補完ネットワークの訓練方法であって、前記方法は、
第１サンプルポイントクラウドを取得することと、
所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定することと、
前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得ることと、
所定の関係補強ネットワークを用いて、前記第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第２予測ポイントクラウドを得ることと、
前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うことと、
パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成することと、を含む、ポイントクラウド補完ネットワークの訓練方法。
（項目１２）
前記第１サンプルポイントクラウドは、形状が不完全であるサンプル不完全ポイントクラウド及び前記サンプル不完全ポイントクラウドに対応するサンプル完全ポイントクラウドを含み、所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定することは、
前記所定の確率生成ネットワークを用いて、前記サンプル不完全ポイントクラウドに対して変分符号化を行い、前記サンプル不完全ポイントクラウドの第１確率分布を決定することと、
前記所定の確率生成ネットワークを用いて、前記サンプル完全ポイントクラウドに対して変分符号化を行い、前記サンプル完全ポイントクラウドの第２確率分布を決定することと、
前記第１確率分布及び前記第２確率分布に基づいて、前記サンプル確率分布を得ることと、を含むことを特徴とする
項目１１に記載の方法。
（項目１３）
前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得ることは、
前記サンプル確率分布における第１確率分布に基づいて、前記サンプル不完全ポイントクラウドに対して補完を行い、サンプル初級補完ポイントクラウドを得ることと、
前記サンプル確率分布における前記第２確率分布及び前記第１確率分布に基づいて、前記サンプル完全ポイントクラウドを再構成し、再構成完全ポイントクラウドを得ることと、
前記サンプル初級補完ポイントクラウド及び前記再構成完全ポイントクラウドを前記第１予測ポイントクラウドとして決定することと、を含むことを特徴とする
項目１２に記載の方法。
（項目１４）
前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行うことは、
前記第１確率分布と第２確率分布との類似度、及び前記サンプル初級補完ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、補完損失を決定することと、
前記第２確率分布と所定標準分布との類似度、及び前記再構成完全ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、第１再構成損失を決定することと、
前記補完損失及び前記第１再構成損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの前記確率生成ネットワークを得ることと、を含むことを特徴とする
項目１３に記載の方法。
（項目１５）
前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うことは、
前記第２予測ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、第２再構成損失を決定することと、
前記第２再構成損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの前記関係補強ネットワークを得ることと、を含むことを特徴とする
項目１１に記載の方法。
（項目１６）
ポイントクラウド補完装置であって、前記装置は、
取得した第１ポイントクラウドの確率分布を決定するように構成される第１決定モジュールと、
前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得るように構成される第１補完モジュールと、
前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得るように構成される第１連結モジュールと、
前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定するように構成される第２決定モジュールと、
前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得るように構成される第１調整モジュールと、を備える、ポイントクラウド補完装置。
（項目１７）
ポイントクラウド補完ネットワークの訓練装置であって、前記装置は、
第１サンプルポイントクラウドを取得するように構成される第１取得モジュールと、
所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定するように構成される第３決定モジュールと、
前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得るように構成される第１予測モジュールと、
所定の関係補強ネットワークを用いて、前記第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第２予測ポイントクラウドを得るように構成される第１調整モジュールと、
前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うように構成される第１訓練モジュールと、
パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成するように構成される第４決定モジュールと、を備える、ポイントクラウド補完ネットワークの訓練装置。
（項目１８）
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータ実行可能命令が記憶されており、該コンピュータ実行可能命令が実行された後、項目１から１０のうちいずれか一項に記載の方法のステップを実現することができ、又は、該コンピュータ実行可能命令が実行された後、項目１１から１５のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
（項目１９）
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータ実行可能命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータ実行可能命令を実行する時、項目１から１０のうちいずれか一項に記載の方法のステップを実現することができ、又は、前記プロセッサは前記メモリにおけるコンピュータ実行可能命令を実行する時、項目１１から１５のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
（項目２０）
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ実行可能命令を含み、該コンピュータ実行可能命令が実行された後、項目１から１０のうちいずれか一項に記載の方法のステップ又は項目１１から１５のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータプログラム製品。

Claims (20)

1. ポイントクラウド補完方法であって、
   取得した第１ポイントクラウドの確率分布を決定することと、
   前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得ることと、
   前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得ることと、
   前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定することと、
   前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得ることと、を含む、ポイントクラウド補完方法。
2. 取得した第１ポイントクラウドの確率分布を決定することは、
   前記第１ポイントクラウドに対して変分符号化を行い、符号化ポイントクラウドを得ることと、
   前記符号化ポイントクラウドに対して残差処理を行い、残差ポイントクラウドを得ることと、
   前記残差ポイントクラウドに基づいて、前記確率分布を決定することと、を含むことを特徴とする
   請求項１に記載の方法。
3. 前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得ることは、
   前記確率分布に基づいて、前記第１ポイントクラウドが属する対象の第１外観形状を予測することと、
   前記第１ポイントクラウドで表される前記対象の第２外観形状を決定することであって、前記第１外観形状の完全度は、前記第２外観形状の完全度よりも高い、ことと、
   前記第１外観形状に基づいて、前記第２外観形状に対して補完を行い、前記初級補完ポイントクラウドを得ることと、を含むことを特徴とする
   請求項１に記載の方法。
4. 前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得ることは、
   前記連結ポイントクラウドにおける各データポイントと対応する複数組の近隣ポイントとの関連関係に基づいて、前記各データポイントの関連特徴を決定することと、
   前記各データポイントの関連特徴に基づいて、前記各データポイントのターゲット特徴を決定することと、
   前記連結ポイントクラウドにおける各データポイントのターゲット特徴に基づいて、前記第１ポイントクラウドを補完した第２ポイントクラウドを得ることと、を含むことを特徴とする
   請求項１に記載の方法。
5. 前記各データポイントの関連特徴に基づいて、前記各データポイントのターゲット特徴を決定することは、
   前記複数組の近隣ポイントに対応する各データポイントの関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
   前記プーリング特徴に基づいて、前記各データポイントと対応する各組の近隣ポイントとの組関連度を決定することと、
   前記組関連度及び前記関連特徴に基づいて、前記各データポイントのターゲット特徴を決定することと、を含むことを特徴とする
   請求項４に記載の方法。
6. 前記プーリング特徴に基づいて、前記各データポイントと対応する各組の近隣ポイントとの組関連度を決定することは、
   前記プーリング特徴に基づいて、前記各データポイントと対応する前記各組の近隣ポイントのうちの各近隣ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
   前記ポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含むことを特徴とする
   請求項５に記載の方法。
7. 前記組関連度及び前記関連特徴に基づいて、前記各データポイントのターゲット特徴を決定することは、
   前記各組の組関連度に基づいて、前記各データポイントの関連特徴に対して調整を行い、各組の近隣ポイントに対応する調整済み関連特徴を得ることと、
   前記各データポイントの複数組の近隣ポイントに対応する前記調整済み関連特徴をフュージョンし、前記各データポイントのターゲット特徴を得ることと、を含むことを特徴とする
   請求項５に記載の方法。
8. 前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定することは、
   前記各組の近隣ポイントの第１初期特徴及び前記連結ポイントクラウドにおける各データポイントの第２初期特徴をそれぞれ決定することと、
   第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得ることと、
   前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得ることと、
   前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを前記各組の近隣ポイントと対応するデータポイントとの関連関係として決定することと、を含むことを特徴とする
   請求項１に記載の方法。
9. 前記連結ポイントクラウドにおける各データポイントと対応する複数組の近隣ポイントとの関連関係に基づいて、前記各データポイントの関連特徴を決定することは、
   第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得ることであって、前記第２所定値と第１所定値は、倍関係を有する、ことと、
   前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記各データポイントの関連特徴を決定することと、を含むことを特徴とする
   請求項４から７のうちいずれか一項に記載の方法。
10. 前記各データポイントの関連特徴に基づいて、前記各データポイントのターゲット特徴を決定した後、前記方法は、
    前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
    前記各データポイントの第２初期特徴に対して線形変換を行い、前記各データポイントの残差特徴を得ることと、
    前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
    請求項５から９のうちいずれか一項に記載の方法。
11. ポイントクラウド補完ネットワークの訓練方法であって、前記方法は、
    第１サンプルポイントクラウドを取得することと、
    所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定することと、
    前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得ることと、
    所定の関係補強ネットワークを用いて、前記第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第２予測ポイントクラウドを得ることと、
    前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うことと、
    パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成することと、を含む、ポイントクラウド補完ネットワークの訓練方法。
12. 前記第１サンプルポイントクラウドは、形状が不完全であるサンプル不完全ポイントクラウド及び前記サンプル不完全ポイントクラウドに対応するサンプル完全ポイントクラウドを含み、所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定することは、
    前記所定の確率生成ネットワークを用いて、前記サンプル不完全ポイントクラウドに対して変分符号化を行い、前記サンプル不完全ポイントクラウドの第１確率分布を決定することと、
    前記所定の確率生成ネットワークを用いて、前記サンプル完全ポイントクラウドに対して変分符号化を行い、前記サンプル完全ポイントクラウドの第２確率分布を決定することと、
    前記第１確率分布及び前記第２確率分布に基づいて、前記サンプル確率分布を得ることと、を含むことを特徴とする
    請求項１１に記載の方法。
13. 前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得ることは、
    前記サンプル確率分布における第１確率分布に基づいて、前記サンプル不完全ポイントクラウドに対して補完を行い、サンプル初級補完ポイントクラウドを得ることと、
    前記サンプル確率分布における前記第２確率分布及び前記第１確率分布に基づいて、前記サンプル完全ポイントクラウドを再構成し、再構成完全ポイントクラウドを得ることと、
    前記サンプル初級補完ポイントクラウド及び前記再構成完全ポイントクラウドを前記第１予測ポイントクラウドとして決定することと、を含むことを特徴とする
    請求項１２に記載の方法。
14. 前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行うことは、
    前記第１確率分布と第２確率分布との類似度、及び前記サンプル初級補完ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、補完損失を決定することと、
    前記第２確率分布と所定標準分布との類似度、及び前記再構成完全ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、第１再構成損失を決定することと、
    前記補完損失及び前記第１再構成損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの前記確率生成ネットワークを得ることと、を含むことを特徴とする
    請求項１３に記載の方法。
15. 前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うことは、
    前記第２予測ポイントクラウドと前記サンプル完全ポイントクラウドとの類似度に基づいて、第２再構成損失を決定することと、
    前記第２再構成損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行い、パラメータを調整済みの前記関係補強ネットワークを得ることと、を含むことを特徴とする
    請求項１１に記載の方法。
16. ポイントクラウド補完装置であって、前記装置は、
    取得した第１ポイントクラウドの確率分布を決定するように構成される第１決定モジュールと、
    前記確率分布に基づいて、前記第１ポイントクラウドに対して補完を行い、初級補完ポイントクラウドを得るように構成される第１補完モジュールと、
    前記初級補完ポイントクラウドと前記第１ポイントクラウドを連結し、連結ポイントクラウドを得るように構成される第１連結モジュールと、
    前記連結ポイントクラウドと前記連結ポイントクラウドの複数組の近隣ポイントとの関連関係を決定するように構成される第２決定モジュールと、
    前記関連関係に基づいて、前記連結ポイントクラウドに対して補完を行い、前記第１ポイントクラウドを補完した第２ポイントクラウドを得るように構成される第１調整モジュールと、を備える、ポイントクラウド補完装置。
17. ポイントクラウド補完ネットワークの訓練装置であって、前記装置は、
    第１サンプルポイントクラウドを取得するように構成される第１取得モジュールと、
    所定の確率生成ネットワークを用いて、前記第１サンプルポイントクラウドのサンプル確率分布を決定するように構成される第３決定モジュールと、
    前記サンプル確率分布に基づいて、前記第１サンプルポイントクラウドの完全な形状に対して予測を行い、第１予測ポイントクラウドを得るように構成される第１予測モジュールと、
    所定の関係補強ネットワークを用いて、前記第１サンプルポイントクラウドに基づいて、前記第１予測ポイントクラウドに対して調整を行い、第２予測ポイントクラウドを得るように構成される第１調整モジュールと、
    前記第１予測ポイントクラウドの損失に基づいて、前記確率生成ネットワークのネットワークパラメータに対して調整を行い、前記第２予測ポイントクラウドの損失に基づいて、前記関係補強ネットワークのネットワークパラメータに対して調整を行うように構成される第１訓練モジュールと、
    パラメータを調整済みの前記確率生成ネットワーク及びパラメータを調整済みの前記関係補強ネットワークに基づいて、ポイントクラウド補完ネットワークを生成するように構成される第４決定モジュールと、を備える、ポイントクラウド補完ネットワークの訓練装置。
18. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータ実行可能命令が記憶されており、該コンピュータ実行可能命令が実行された後、請求項１から１０のうちいずれか一項に記載の方法のステップを実現することができ、又は、該コンピュータ実行可能命令が実行された後、請求項１１から１５のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
19. コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータ実行可能命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータ実行可能命令を実行する時、請求項１から１０のうちいずれか一項に記載の方法のステップを実現することができ、又は、前記プロセッサは前記メモリにおけるコンピュータ実行可能命令を実行する時、請求項１１から１５のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
20. コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ実行可能命令を含み、該コンピュータ実行可能命令が実行された後、請求項１から１０のうちいずれか一項に記載の方法のステップ又は請求項１１から１５のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータプログラム製品。

Images