JP2023503731A - ポイントクラウドデータ処理方法、装置、機器及び記憶媒体 - Google Patents
ポイントクラウドデータ処理方法、装置、機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2023503731A JP2023503731A JP2021544325A JP2021544325A JP2023503731A JP 2023503731 A JP2023503731 A JP 2023503731A JP 2021544325 A JP2021544325 A JP 2021544325A JP 2021544325 A JP2021544325 A JP 2021544325A JP 2023503731 A JP2023503731 A JP 2023503731A
- Authority
- JP
- Japan
- Prior art keywords
- features
- point
- neighboring points
- feature
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000009466 transformation Effects 0.000 claims description 82
- 238000011176 pooling Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 21
- 230000000295 complement effect Effects 0.000 claims description 20
- 230000003993 interaction Effects 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 7
- 230000002787 reinforcement Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本願の実施例は、ポイントクラウドデータ処理方法、装置、機器及び記憶媒体を提供する。ここで、前記方法は、取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第1ポイントクラウドデータに対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成することと、を含む。【選択図】図1
Description
(関連出願の相互参照)
本願は、2021年4月15日に提出された、出願番号が10202103894Rであり、発明名称が「ポイントクラウドデータ処理方法、装置、機器及び記憶媒体」であるシンガポール特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。
本願は、2021年4月15日に提出された、出願番号が10202103894Rであり、発明名称が「ポイントクラウドデータ処理方法、装置、機器及び記憶媒体」であるシンガポール特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。
本願の実施例は、ポイントクラウドデータ処理技術分野に関し、ポイントクラウドデータ処理方法、装置、機器及び記憶媒体に関するが、これらに限定しない。
レーザーレーダーとデプスカメラの成熟に伴い、ポイントクラウドは、画像の補充データフォーマットとして、様々の監視シーンに徐々に配置されるようになる。関連技術において、ポイントクラウドが無秩序性、ノイズ及びメッシュレスという特性を有するため、深層ニューラルネットワークを利用して学習されたポイントクラウドの特徴は、応用のニーズを満たすことは困難である。
本願の実施例は、ポイントクラウドデータ処理の技術的解決手段を提供する。
本願の実施例の技術的解決手段は、以下のように実現する。
本願の実施例は、ポイントクラウドデータ処理方法を提供する。前記方法は、取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第1ポイントクラウドデータに対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成することと、を含む。
本願の実施例は、ポイントクラウドデータ処理装置を提供する。前記装置は、取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第1決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第1決定モジュールと、各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第2決定モジュールと、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第3決定モジュールと、前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第4決定モジュールと、を備える。
これに対応して、本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、上記方法のステップを実現することができる。
本願の実施例は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、上記方法のステップを実現することができる。
本願の実施例は、ポイントクラウドデータ処理方法、装置、機器及び記憶媒体を提供する。第1ポイントクラウドデータにおけるいずれか1つの処理対象ポイントに対して、まず、該処理対象ポイントとスケールが異なる複数組の近隣ポイントとの関連関係を決定する。次に、各組の近隣ポイントと処理対象ポイントとの関連関係に基づいて、処理対象ポイントの関連特徴を抽出する。続いて、複数組の近隣ポイントの関連特徴をフュージョンすることで、処理対象ポイントのターゲット特徴を得る。最後に、第1ポイントクラウドデータにおける複数の処理対象ポイントのターゲット特徴に基づいて、第1ポイントクラウドデータに対して補完を行い、第2ポイントクラウドデータを生成する。これにより、スケールが異なる複数組の近隣ポイントの特徴をフュージョンすることで、スケールが異なるポイントクラウド特徴に配慮を加えることができる。従って、抽出されたポイントクラウド特徴に、少なくとも一定の区間内でスケール不変性を持たせることができ、更に、抽出されたポイントクラウド特徴をより豊かにすることができる。抽出されたポイントクラウド特徴に基づいてポイントクラウド補完を行うことで得られたポイントクラウドは、より高い完備性を有し、物理空間における真実の三次元対象をより正確に表すことができる。
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、発明の具体的な技術的解決手段を更に詳しく説明する。下記実施例は、本願の説明するためのものであり、本願の範囲を限定するものではない。
下記記述において、「幾つかの実施例」に係る。これは、全ての可能な実施例のサブ集合を記述する。「幾つかの実施例」は、全ての可能な実施例の同一のサブ集合又は異なるサブ集合であってもよく、また、矛盾しない限り、互いに組み合わせられてもよいと理解されるべきである。
下記記述に係る用語「第1/第2/第3」は、類似した対象を区別するためのものであり、対象の特定の順番を説明するためのものではない。ここで説明した本願の実施例をここで示した又は説明した順番以外の順番で実施可能なものにするために、「第1/第2/第3」は、許された場合であれば特定の順番又は前後順序を互いに取り替えることができることは、理解されるべきである。
別途定義しない限り、本明細書に用いられる全ての技術的及び科学的用語は、本願の技術分野に属する当業者が一般的に理解する意味と同じである。本明細書に用いられる用語は、本願の実施例の目的を説明するためのものだけであり、本願を限定するものではない。
本願の実施例を更に詳しく説明する前に、本願の実施例に係る名詞及び用語を説明する。本願の実施例に係る名詞及び用語に関する解釈は以下の通りである。
1)グローバル平均プーリング(Global average pooling)は、アンダーサンプリング又はサブサンプリングとも呼ばれ、主に特徴の次元削減、データ及びパラメータの数の圧縮、オーバーフィッティングを減少させると共に、モデルのフォールトトレランスを向上させるために用いられる。
2)全結合層は、前に複数回畳み込み処理後の高度に抽象化した特徴を整合し、続いて、正規化を行い、分類ケース毎に対して1つの確率を出力し、その後、分類器が、全結合で得られた確率に基づいて分類を行う役割をしている。
以下、本願の実施例で提供されるポイントクラウドデータの処理機器の例示的な適用を説明する。本願の実施例で提供される機器は、画像収集機能を有するノートパソコン、タブレット、デスクトップコンピュータ、カメラ、携帯機器(例えば、パーソナルデジタルアシスタント、専用メッセージング機器、ポータブルゲーム機器)などの種々のタイプのユーザ端末として実現してもよく、サーバとして実現してもよい。以下、機器が端末又はサーバとして実現する場合の例示的な適用を説明する。
該方法は、コンピュータ機器に適用可能である。該方法により実現される機能は、コンピュータ機器におけるプロセッサがプログラムコードを呼び出すことで実現してもよい。勿論、プログラムコードは、コンピュータ記憶媒体に記憶されてもよい。従って、該コンピュータ機器は少なくともプロセッサ及び記憶媒体を備える。
本願の実施例は、ポイントクラウドデータ処理方法を提供する。図1に示すように、図1に示すステップを参照しながら説明する。
ステップS101において、取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定する。
幾つかの実施例において、取得した第1ポイントクラウドデータは、直接収集した三次元(3-Dimension:3D)ポイントクラウドデータ、又は受信した他の機器からの3Dポイントクラウドデータであってもよい。処理対象ポイントは、ポイントクラウドデータにおけるいずれか1つのポイントと理解されてもよい。第1ポイントクラウドデータにおいて、該処理対象ポイントを中心ポイントとして、複数組の近隣ポイントを決定する。複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる。各組の近隣ポイントのスケールは、該組の近隣ポイントの数を表す。つまり、複数組の近隣ポイントのうちの各組の近隣ポイントの数は異なる。例えば、処理対象ポイントの一組の近隣ポイントの数はK1であり、別の一組の近隣ポイントの数はK2である場合、該2組の近隣ポイントのスケールがK1及びK2であるとそれぞれ決定する。
ステップS102において、各組の近隣ポイントと処理対象ポイントとの関連関係を決定する。
幾つかの実施例において、各組の近隣ポイントと処理対象ポイントとの関連関係は、一組の近隣ポイントのうちの各近隣ポイントと処理対象ポイントとの関連程度を表すためのものである。該関連関係は、位置関連を含んでもよく、及び/又は、該関連関係は、一組の近隣ポイントのうちの各近隣ポイントと処理対象ポイントで表される物理対象との潜在的関係を表すことができる。例えば、両者が同一の物理対象を表すポイントであるかどうかを表し、又は、両者で表される物理対象が異なる場合、表される異なる物理対象間の位置関係、種類の類似性、従属関係などのうちの少なくとも1つである。上記関連関係は、近隣ポイントと処理対象ポイントとの関係パラメータ及び重み係数で表されてもよい。複数組の近隣ポイントのうちの各組の近隣ポイントに対して、一組の近隣ポイントのうち各近隣ポイントと処理対象ポイントとの関連パラメータを分析する。該関連パラメータに基づいて、一組の近隣ポイントと処理対象ポイントとの関連関係を全体的に決定し、各組の近隣ポイントと処理対象ポイントとの関連関係を得ることができる。
ステップS103において、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定する。
幾つかの実施例において、処理対象ポイントの関連特徴の数は、近隣ポイントの組数に対応し、即ち、一組の近隣ポイントと処理対象ポイントとのインタラクションにより、処理対象ポイントの一組の近隣ポイントに対応する関連特徴を得ることができる。該組の近隣ポイントに対応する関連特徴は、該組の近隣ポイントの特徴情報を十分に考慮している。処理対象ポイントの近隣ポイントは複数組であるため、関連特徴は複数である。
幾つかの可能な実現形態において、一組の近隣ポイントにおける各近隣ポイントに対して、まず、関係パラメータに基づいて、該近隣ポイントの特徴と処理対象ポイントの特徴に対してインタラクション処理を行い、インタラクション後の初期特徴集合を得る。続いて、組で該インタラクション後の初期特徴に対してフュージョンを行い、各組に対応する処理対象ポイントの関連特徴を得る。該処理対象ポイントの関連特徴が周辺の複数組の近隣ポイントの初期特徴との関連関係を考慮しているため、得られた処理対象ポイントの関連特徴は、より重要であり、しかも豊かである。
ステップS104において、複数組の近隣ポイントに対応する関連特徴に基づいて、処理対象ポイントのターゲット特徴を決定する。
幾つかの実施例において、各組の近隣ポイントに対応する関連特徴をフュージョンすることで、該処理対象ポイントのターゲット特徴を得ることができる。処理対象ポイントの複数組の近隣ポイントに対して、ポイントクラウド補完ネットワークにおける関係補強ネットワークのポイントクラウドセルフアテンションコアモジュール(ここで、ポイントクラウドセルフアテンションコアモジュールは、関係補強ネットワークの一部であり、局所的な近隣ポイントの特徴、処理対象ポイントと近隣ポイントとの関係を統合することで、ポイントクラウド内の構造関係を学習し、ポイントクラウド特徴を更に補強する)を利用することで、各組の近隣ポイントに対応する関連特徴を得る。このように、各組の関連特徴の重みと該組の関連特徴に対して加重加算を行うことで、複数組の近隣ポイントの特徴を十分に考慮したターゲット特徴を得る。これにより、スケールが異なる近隣ポイントと処理対象ポイントとの関連関係を自己適応的に選択することで、複数組の関連特徴に基づいて、処理対象ポイントのターゲット特徴を決定する。ポイントクラウド学習におけるスケール不変性を解決することができるだけでなく、ポイントクラウド特徴を補強することもできる。
S105において、複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第1ポイントクラウドデータに対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成する。
幾つかの実施例において、第2ポイントクラウドデータの完備性は、第1ポイントクラウドデータの完備性よりも高い。任意選択的に、オリジナルポイントクラウドデータの確率分布を分析することで、該オリジナルポイントクラウドデータの輪郭に対して大ざっぱに推定を行い、第1ポイントクラウドデータを得ることができる。大ざっぱに推定された第1ポイントクラウドデータに対して、上記ターゲット特徴に基づいて、ポイントクラウド特徴補強を行い、より精細な第2ポイントクラウドデータを得る。
本願の実施例において、変分関連ポイントクラウド補完ネットワークにおける関係補強ネットワークを利用して、スケールが異なる複数組の近隣ポイントの関連特徴を利用して、該処理対象ポイントのターゲット特徴を抽出する。また、複数の処理対象ポイントのターゲット特徴を採用して、第1ポイントクラウドデータに対して補完を行い、より完備な第2ポイントクラウドデータを得る。これにより、スケールが異なる複数組の近隣ポイントの特徴をフュージョンすることで、スケールが異なるポイントクラウド特徴も考慮に入れることができ、それによって、抽出されたポイントクラウド特徴に、少なくとも一定の区間内でスケール不変性を持たせることができ、更に、抽出されたポイントクラウド特徴をより豊かにすることができ、抽出されたポイントクラウド特徴に基づいてポイントクラウド補完を行うことで得られたポイントクラウドは、より高い完備性を有し、物理空間における真実の三次元対象をより正確に表すことができる。
幾つかの実施例において、複数組の関連特徴に対してグローバル平均プーリング処理を行い、該関連特徴のうち、各組の近隣ポイントの組関連度を決定することで、組関連度と該組の関連特徴を組み合わせ、ターゲット特徴を抽出することができる。つまり、上記ステップS104は、図2に示すステップにより実現してもよい。図1及び図2に示すステップを参照しながら、以下のように説明する。
ステップS201において、複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得る。
幾つかの実施例において、処理対象ポイントにとってどの組の近隣ポイントがより重要であるかを決定するために、まず、複数組の近隣ポイントに対応する関連特徴をフュージョンし、更に、プーリング層を利用して、フュージョンした特徴に対して平均プーリング処理を行い、プーリング特徴を得る。
幾つかの可能な実現形態において、まず、前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得る。例えば、該複数組の近隣ポイントに対応する関連特徴に対して要素ごとに加算を行い、フュージョンした特徴を得る。続いて、前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得る。例えば、要素ごとに加算を行うことで得られたフュージョン特徴をネットワークのグローバル平均プーリング層に入力し、フュージョンした特徴に対してグローバル平均プーリング処理を行い、フュージョンした特徴に対して次元削減を行った後の該プーリング特徴を得て、ネットワークのロバスト性を向上させる。
ステップS202において、プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定する。
幾つかの実施例において、まず、該プーリング特徴をネットワークアーキテクチャにおける全結合層に入力し、各組の近隣ポイントに対して、その中の各近隣ポイントの処理対象ポイントに対する重要度を分類し、重要度がラベル付けられた近隣ポイント集合を得る。続いて、2つの全結合層を利用して、重要度がラベル付けられた近隣ポイント集合から、同一組に属する近隣ポイントを分類する。最後に、該同一組の近隣ポイントにラベル付けられた重要度に基づいて、該組の処理対象ポイントに対する重要度を決定することができる。つまり、該組の組関連度を決定することができる。
ステップS203において、前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定する。
幾つかの実施例において、まず、1つの組の組関連度及び該組に対応する関連特徴に対して、2つベクトルを要素ごとに乗算し、複数組の乗算結果を得ることができる。続いて、該複数の組の乗算結果に対して要素ごとに加算を行い、最終的なターゲット特徴を得る。
本願の実施例において、複数組の関連特徴をフュージョンした後、グローバル平均プーリング処理を行い、プーリング特徴を全結合層に入力することで、該関連特徴における各組の近隣ポイントの重要度を決定し、各組の近隣ポイントの重要度と該組に対応する関連特徴とを組み合わせ、最終的なターゲット特徴を得る。これにより、スケールが異なる複数組の近隣ポイントの組関連度と該組の関連特徴を組み合わせることで、細部がより豊かであるポイントクラウドのターゲット特徴を抽出し、同一の階層において、スケールが異なる複数の特徴を選択してフュージョンし、これにより、ポイントクラウド特徴に基づいてポイントクラウド補完ネットワークの訓練を行う過程において、訓練により得られたネットワークは、複数のスケールの関連特徴に対応することができるようになる。
幾つかの実施例において、一組の近隣ポイントのうちの各近隣ポイントと処理対象ポイントとの関連度を決定することで、一組の組関連度を得る。これにより、組関連度を利用して、該組に対応する関連特徴に対して更新を行い、ターゲット特徴を得ることができる。つまり、上記ステップS202及びS203は、下記ステップにより実現してもよい。
ステップS231において、プーリング特徴に基づいて、各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得る。
幾つかの実施例において、各組の近隣ポイントにおいて、各近隣ポイントの処理対象ポイントに対する重要度を決定することで、該近隣ポイントと処理対象ポイントとの関連度を決定することができる。例えば、該近隣ポイントが処理対象ポイントのキーボードに属する信頼度を該近隣ポイントと処理対象ポイントとの関連度とする。
幾つかの可能な実現形態において、一組の近隣ポイントにおいて、各近隣ポイントが処理対象ポイントのキーポイントに属する信頼度を判定することで、該組の近隣ポイントの処理対象ポイントに対する重要度を分析する。つまり、組関連度を分析する。つまり、ステップS202は、下記ステップにより実現してもよい。
ステップ1において、前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定する。
幾つかの実施例において、処理対象ポイントのキー特徴は、処理対象ポイントの近隣ポイントのうちのキーポイントであり、該処理対象ポイントと線形関係及び関連関係を有するポイントである。例えば、キーポイントと処理対象ポイントとのセマンティック関係が緊密であり、且つインタラクションが多い。具体的な例において、複数組の近隣ポイントに対応する関連特徴をフュージョンし、該複数組の関連特徴のプーリング特徴を全結合層に入力し、該全結合層を利用して、複数組の近隣ポイントに対応する関連特徴のうちの、重要特徴に属する関連特徴に対して分類を行い、一組の近隣ポイントに対応する関連特徴において、近隣ポイントと関連特徴は、関連関係を有する。これにより、複数組の近隣ポイントのうちの各近隣ポイントがキーポイントであるかどうかに対して分類を行い、各近隣ポイントが前記処理対象ポイントのキーポイントに属する第1信頼度を得る。
ステップ2において、前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得る。
幾つかの実施例において、処理対象ポイントにとって、どの組の近隣ポイントがより重要であるかを決定するために、複数の独立した全結合層を利用して、フュージョンした複数組の関連特徴を区分し、各組の近隣ポイントに対応する関連特徴の重要度を得る。つまり、第2信頼度を得る。ここで、独立した全結合層の数は、近隣ポイントの組数と同じである。これにより、フュージョンした複数組の関連特徴を区分することができる。
ステップ3において、前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定する。
幾つかの実施例において、一組の近隣ポイントに対応する関連特徴がキー特徴に属する信頼度を決定し、これらの信頼度を各関連特徴にラベル付けることで、該組の重要度を得ることができる。これにより、まず、全結合層により、フュージョンした複数組の関連特徴の重要度に対して分類を行う。続いて、複数の独立した全結合層により、該複数組の関連特徴を独立した組に分ける。これにより、各組の近隣ポイントの重要度を決定することができる。
ステップS232において、各組のポイント関連度集合に基づいて、各組の組関連度を決定する。
幾つかの実施例において、一組のポイント関連度集合は、一組の近隣ポイントのうち、各近隣ポイントが処理対象ポイントのキーポイントに属する信頼度集合であると理解されてもよい。一組の近隣ポイントの信頼度を加算することで、該組の処理対象ポイントに対する重要度を得ることができる。つまり、該組の組関連度を得る。
幾つかの可能な実現形態において、一組の近隣ポイントのポイント関連度を得た後、一組のポイント関連度集合を正規化し、各組の組関連度を得る。例えば、下記プロセスにより実現してもよい。
まず、前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得る。
例えば、各組の近隣ポイントに対応する一組の第2信頼度をポイントクラウド補完ネットワークのsoftmax層に入力し、softmax関数を用いて、第2信頼度に対して処理を行い、各組の第2信頼度の正規化結果を得ることができる。また、該複数組の組正規化結果の合計は、1に等しい。
続いて、前記組正規化結果に基づいて、前記組関連度を決定する。
例えば、組正規化結果が大きいほど、処理対象ポイントにとって、該組の近隣ポイントが重要になることを表す。つまり、該組の近隣ポイントが処理対象ポイントのキーポイントである確率が大きいであることを表す。これにより、softmax層を利用して、一組の近隣ポイントのポイント関連度を処理することで、該組の近隣ポイント全体の重要度を決定することができる。従って、該組の近隣ポイント全体の重要度に基づいて、抽出したポイントクラウド特徴を補強することができる。
ステップS233において、前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得る。
幾つかの実施例において、各組の組関連度と該組に対応する関連特徴に対して要素ごとに乗算を行い、乗算結果を得る。これにより、複数組の組関連度と対応する関連特徴を要素ごとに乗算することで、複数組の乗算結果を得ることができる。該複数組の乗算結果を要素ごとに加算することで、ターゲット特徴を得ることができる。このように、一組の近隣ポイントの組関連度を利用して、該組に対応する関連特徴に対して調整を行い、調整後の複数組の特徴をフュージョンし、周辺のスケールが異なる複数組の近隣ポイント特徴を含むターゲット特徴を得る。
幾つかの実施例において、各組の近隣ポイントのうちの各近隣ポイントに対して、適応的な方式で、各近隣ポイントと処理対象ポイントとのインタラクションを実現する。つまり、上記ステップS102は、下記ステップにより実現してもよい。
ステップS121において、前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定する。
幾つかの実施例において、各組の近隣ポイントのうちの各近隣ポイントに対して特徴抽出を行い、第1初期特徴を得る。つまり、第1初期特徴は、各近隣ポイントの初期特徴を含む。処理対象ポイントに対して特徴抽出を行い、第2初期特徴を得る。ここの特徴抽出は、訓練された多層パーセプトロンネットワーク(Multi-Layer Perceptron:MLP)又は畳み込みネットワークなどにより実現してもよい。
ステップS122において、第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得る。
幾つかの実施例において、第1所定値は、設定された任意の値であってもよい。例えば、第1所定値を64又は32などとする。まず、多層パーセプトロンネットワークを用いて、第1初期特徴に対して線形処理を行う。例えば、第1初期特徴に対して次元拡張を行う。続いて、第1所定値に基づいて、次元拡張後の第1初期特徴に対して線形変換を行い、第1変換特徴を得る。例えば、第1所定値に基づいて、次元拡張後の第1初期特徴に対して次元削減を行い、第1変換特徴を得る。
ステップS123において、第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得る。
幾つかの実施例において、処理対象ポイントの第2初期特徴に対する処理プロセスは、上記ステップS122における、第1初期特徴に対する処理プロセスと類似する。例えば、まず、多層パーセプトロンネットワークを用いて、第2初期特徴に対して線形処理を行う。例えば、第2初期特徴に対して次元拡張を行う。続いて、第1所定値に基づいて、次元拡張後の第2初期特徴に対して線形変換を行い、第2変換特徴を得る。例えば、第1所定値に基づいて、次元拡張後の第2初期特徴に対して次元削減を行い、第2変換特徴を得る。
ステップS124において、前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定する。
幾つかの実施例において、各組の近隣ポイントの第1変換特徴と第2変換特徴に対してインタラクション処理を行い、例えば、各組の近隣ポイントの第1変換特徴と第2変換特徴に対して接続又は乗算などを行うことで、2つの特徴の相互の関係重みを得て、該関係重みを両者の関係パラメータとする。
上記ステップS121からステップS124において、「各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定する」ための方式を提供する。該方式において、ポイントクラウドにおける近隣ポイントと処理対象ポイントとの相互関係を自己適応的に学習することで、ポイントクラウドデータにおけるキー特徴の抽出を容易にする。
上記ステップS124の後に、もう1つの所定値を用いて、近隣ポイントの初期特徴に対して線形変換を行い、関連関係を用いて、変換後の初期特徴を調整することで、該組の近隣ポイントに対応する関連特徴を得ることができる。つまり、上記ステップS103は、下記ステップにより実現してもよい。
ステップS131において、第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得る。
幾つかの実施例において、第2所定値と第2所定値は、倍関係を有する。例えば、第1所定値は、第2所定値のn倍である。具体的な例において、第1所定値を64とし、第2所定値を32としてもよい。幾つかの可能な実現形態において、まず、MLPモデルを用いて、第1初期特徴に対して線形処理を行う。例えば、第1初期特徴に対して次元拡張を行う。続いて、第2所定値に基づいて、次元拡張された第1初期特徴に対して線形変換を行い、第3変換特徴を得る。
ステップS132において、前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定する。
幾つかの実施例において、該関連関係に基づいて、各組の近隣ポイントの第3変換特徴に対して補強を行い、各組の近隣ポイントの第3変換特徴を補強した後に得られた特徴をフュージョンし、該組の近隣ポイントに対応する関連特徴を得る。これにより、第1所定値と倍関係を有する第2所定値を用いて、一組の近隣ポイントの初期特徴に対して線形変換を行う。処理対象ポイントの初期特徴と該組の近隣ポイントの初期特徴との関連関係を用いて、線形変換後の近隣ポイントの初期特徴を補強することで、特徴細部がより豊かである関連特徴を得ることができる。
幾つかの可能な実現形態において、得られた関係パラメータを用いて、第3変換特徴に対して集約を行い、得られた集約特徴と処理対象ポイントの初期特徴をフュージョンすることで、キーとなる情報を含む関連特徴を得ることができる。これは、下記プロセスにより実現してもよい。
まず、前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得る。
幾つかの実施例において、関係パラメータが処理対象ポイントの初期特徴と一組の近隣ポイントの初期特徴との関係重みであれば、該関係重みを利用して一組の近隣ポイントの第3変換特徴を集約し、集約特徴を得る。例えば、該関係重みを利用して一組の近隣ポイントの第3変換特徴に対して加重加算を行い、集約特徴を得る。
続いて、前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得る。
幾つかの実施例において、集約特徴を得た後、多層パーセプトロンネットワークを用いて、該集約特徴に対して線形変換を行い、近隣ポイントの初期特徴次元が1である変換特徴を得る。該変換特徴と処理対象ポイントの初期特徴を要素ごとに加算し、処理対象ポイントの関連特徴を得る。これにより、複雑な演算を行って得られた変換特徴と複雑な演算が行われていない第2初期特徴を組み合わせて、処理対象ポイントの関連特徴を決定することで、入力されたポイントクラウドデータのオリジナル特徴を保留することができる。
幾つかの実施例において、ポイントクラウドデータを取得した後、処理対象ポイントの初期特徴に対して一回目の線形変換を行い、線形変換後の処理ポイントを中心ポイントとして、複数組の近隣ポイントを決定する。これは、下記ステップにより実現してもよい。
ステップ1において、前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得る。
幾つかの実施例において、多層パーセプトロンネットワークを用いて、処理対象ポイントの初期特徴に対して線形変換を行い、変換後の初期特徴を処理対象ポイントの初期特徴とする。
ステップ2において、前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定する。
幾つかの実施例において、変換された処理対象ポイントを中心ポイントとして、複数組の近隣ポイントを決定する。つまり、「第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得る」ステップの前に、処理対象ポイントに対して線形変換を行ったため、処理対象ポイントの初期特徴に対して線形変換を行った後、PSAモジュールに入って、ポイントクラウド内部の構造関係を自己適応的に学習することで、より多くの有効な特徴情報を得ることができる。
幾つかの実施例において、1本の残差経路を追加することで、ターゲット特徴抽出プロセスにおける勾配を補充する。つまり、上記ステップS104の後に、下記ステップを更に含む。
ステップS141において、前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得る。
幾つかの実施例において、スケールが異なる複数組の近隣ポイントを利用することで、処理対象ポイントのターゲット特徴を決定した後、MLPモデルを用いてターゲット特徴に対して線形変換を行い、ターゲット特徴における特徴ベクトルの次元を変更し、コアターゲット特徴を得る。
ステップS142において、前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得る。
幾つかの実施例において、まず、入力された処理対象ポイントに対して特徴抽出を行い、第2初期特徴を得る。続いて、MLPモデルを用いて、第2初期特徴に対して線形変換を行い、該残差特徴を得る。これにより、該残差特徴を新規追加される1本の残差経路とすることで、メイン経路に対して複雑な処理を行う過程において、勾配が消失するという問題を解決することができる。
ステップS143において、前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得る。
幾つかの実施例において、残差特徴とコアターゲット特徴を要素ごとに加算し、ターゲット特徴に対する更なる補強を実現する。つまり、更新されたターゲット特徴を得る。これにより、1本の残差経路を追加することで、初期特徴に対して複雑な処理を行う過程において消失した特徴の抽出を補充することができる。また、このように最終的に得られた更新したターゲット特徴は、オリジナル特徴情報を考慮しただけでなく、複雑な処理プロセスが行われた特徴情報も考慮した。更に、更新されたターゲット特徴に、より豊かな細部を持たせることができる。
以下、1つの実際の適用シーンにおける本願の実施例の例示的な適用を説明する。スケールが異なる複数組の近隣ポイントを自己適応的に選択することで、ポイントクラウド学習におけるスケール不変性を解決することを例として説明する。
幾つかの実施例において、オリジナルポイントクラウドデータの確率分布を考慮することで、オリジナルポイントクラウドデータの合理的な輪郭を大ざっぱに予測する。これを基に、大ざっぱに推定された輪郭に対して細部補完を行い、精細且つ完全な第2ポイントクラウドデータを得る。下記ステップS111からステップS114により、第1ポイントクラウドデータを得ることができる。
ステップS111において、オリジナルポイントクラウドデータを取得する。
幾つかの実施例において、取得したオリジナルポイントクラウドデータは、直接的に収集した三次元(3-Dimension:3D)ポイントクラウドデータ又は受信した、他の機器からの3Dポイントクラウドデータであってもよい。処理対象ポイントは、ポイントクラウドデータにおけるいずれか1つのポイントと理解されてもよい。例えば、1つの角度で電気スタンドに対して収集した、電気スタンドの外観を表すポイントクラウドデータであってもよく、又は、受信した、いずれか1つの機器からの1つの物体を表すポイントクラウドデータであってもよい。オリジナルポイントクラウドデータは、物体の形状を完全に表すことができる完全なポイントクラウドであってもよく、物体の一部の形状を表すことができる不完全なポイントクラウドであってもよい。
ステップS112において、前記オリジナルポイントクラウドデータの確率分布を決定する。
幾つかの実施例において、オリジナルポイントクラウドデータの確率分布は、該オリジナルポイントクラウドデータを符号化することで得られた条件付き確率分布であってもよい。例えば、ポイントクラウド補完ネットワークを用いて、オリジナルポイントクラウドデータの確率分布を決定する。該ポイントクラウド補完ネットワークは、初級補完ポイントクラウドを生成する確率生成ネットワークと、初級補完ポイントクラウドを基に高品質な出力ポイントクラウドを生成する関係補強ネットワークと、を含む。これにより生成された補完ポイントクラウドに、入力ポイントクラウドの細部が大幅に保留された。確率生成ネットワークの変分オートエンコーダを用いて、オリジナルポイントクラウドデータに対して符号化を行い、符号化後のポイントクラウドに対して線形残差モジュールにより処理を行うことで、オリジナルポイントクラウドデータの条件付き確率分布を迅速に決定することができる。
ステップS113において、前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得る。
幾つかの実施例において、ポイントクラウド補完ネットワークにおいて、補完しようとするポイントクラウドの確率分布と標準的な正規分布との差を参照することで、オリジナルポイントクラウドデータが属する対象の完全な形状を予測する。また、該完全な形状のポイントクラウドデータとオリジナルポイントクラウドデータとの差に基づいて、オリジナルポイントクラウドデータに対して補完を行うことで、大ざっぱに推定された初級補完ポイントクラウドを得ることができる。該初級補完ポイントクラウドは、オリジナルポイントクラウドデータが属する対象のだいたいの輪郭を大ざっぱに記述するために用いられる。
ステップS114において、前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得る。
幾つかの実施例において、推定されたオリジナルポイントクラウドデータの大ざっぱな輪郭である初級補完ポイントクラウドとオリジナルポイントクラウドデータをマージし、第1ポイントクラウドデータを得る。
上記ステップS111からステップS114は、ポイントクラウド補完ネットワークの確率生成ネットワークにより実現してもよい。該確率生成ネットワークの訓練過程において、不完全なポイントクラウドの分布及び特徴、これに対応する完全なポイントクラウドの分布及び特徴を学習しており、従って、適用の時に、不完全なポイントクラウド形状に合致するだけでなく、合理的な輪郭も有する大ざっぱなポイントクラウドを生成することができる。つまり、確率生成ネットワークを用いることで、補完しようとするネットワークに対応する、合理的な輪郭を有する初級補完ポイントクラウドを生成することができる。確率生成ネットワークから出力された初級補完ポイントクラウドとオリジナルポイントクラウドデータを組み合わせ、第1ポイントクラウドデータを得て、ポイントクラウド補完ネットワークの関係補強ネットワークに入力する。つまり、ステップS115に進む。
ステップS115において、複数の第1ポイントクラウドデータにおける処理対象ポイントのターゲット特徴に基づいて、前記オリジナルポイントクラウド特徴に対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成する。
幾つかの実施例において、関係補強ネットワークにおいて、第1ポイントクラウドデータにおける各ポイントに対して、まず、該ポイントの複数組のスケールが異なる近隣ポイントを決定する。続いて、各組の近隣ポイントと該ポイントとの関連関係を決定する。ここで、関連関係は、一組の近隣ポイントのうちの各近隣ポイントと該ポイントとのインタラクションを表すためのものであり、近隣ポイントと該ポイントとの間のインタラクションパラメータ及び重み係数で表されてもよい。複数組の近隣ポイントのうちの各組の近隣ポイントに対して、一組の近隣ポイントのうちの各近隣ポイントと所属ポイントとのインタラクションパラメータを分析する。該インタラクションパラメータに基づいて、一組の近隣ポイントと所属ポイントとの関連関係を全体的に決定し、各組の近隣ポイントと所属ポイントとの関連関係を得ることができる。このように、各ポイントと複数組の近隣ポイントとの関連関係を決定することで、連結ポイントクラウド全体と連結ポイントクラウドの複数組の近隣ポイントとの関連関係を得ることができる。これにより、ポイントクラウドの、スケールが異なる近隣ポイントの構造的関係を学習することで、ポイントクラウド補完の精度を向上させる。一組の近隣ポイントと所属ポイントとの関連関係に基づいて、初級補完ポイントクラウドのポイントクラウド特徴に対して補強を行い、より精細なポイントクラウド特徴を得る。該より精細なポイントクラウド特徴により、オリジナルポイントクラウドデータに対して補完を行い、第2ポイントクラウドデータを得る。このように、補完しようとするポイントクラウドの確率分布を考慮することで、オリジナルポイントクラウドデータの合理的な輪郭を予測することができる。これにより、オリジナルポイントクラウド形状に合致するだけでなく、合理的な輪郭も有する初級補完ポイントクラウドを得ることができる。連結ポイントクラウドのスケールが異なる複数組の近隣ポイントの構造的関係を組み合わせることで、初級補完ポイントクラウドの精度を向上させることができ、精度が高いポイントクラウド細部を有する第2ポイントクラウドデータを得る。
具体的な例において、オリジナルポイントクラウドデータは、ゲームシーンから収集されたポイントクラウドデータである。ゲームシーンにおけるゲームに対して、ポイントクラウド収集装置を用いて、該ゲームが位置するゲームテーブル、プレイヤー及びゲーム内通貨などに対して画像収集を行い、オリジナルポイントクラウドデータを得る。ゲームシーンにおいて、プレイヤーは、頭を下げてゲーム内通貨を見る可能性があるため、この場合、プレイヤーの完全な顔画像を収集しにくい。又は、プレイヤーの手で遮蔽されるなどの状況により、収集されたゲーム内通貨画像も不完全なものである。従って、遮蔽などにより、単一のポイントクラウド収集装置により収集されたオリジナルポイントクラウドデータは不完全なものである。不完全なポイントクラウドデータにより、プレイヤー間の位置関係を正確に検出することができない。本願の実施例において、まず、オリジナルポイントクラウドデータの輪郭に対して大ざっぱに推定し、続いて、推定された大ざっぱなポイントクラウドとオリジナルポイントクラウドデータを組み合わせることで、大ざっぱに推定された第1ポイントクラウドデータを得る。最後に、第1ポイントクラウドデータにおける特徴に対して細部補強を行うことで、該不完全なオリジナルポイントクラウドデータの細部情報を復元し、オリジナルポイントクラウドデータに対する補完を実現し、形状が完全である第2ポイントクラウドデータを得る。このように、不完全なオリジナルポイントクラウドデータに対して補完を行うことで、ゲーム対象間の位置関係に対する正確な検出に役立つ。
本願の実施例は、ポイントクラウドデータ処理装置を提供する。図3は、本願の実施例によるポイントクラウドデータ処理装置の構造を示す概略図である。図3に示すように、前記ポイントクラウドデータ処理装置300は、
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第1決定モジュール301であって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第1決定モジュール301と、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第2決定モジュール302と、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第3決定モジュール303と、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第4決定モジュール304と、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第1ポイントクラウドデータに対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成するように構成される第1補完モジュール305と、を備える。
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第1決定モジュール301であって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第1決定モジュール301と、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第2決定モジュール302と、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第3決定モジュール303と、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第4決定モジュール304と、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第1ポイントクラウドデータに対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成するように構成される第1補完モジュール305と、を備える。
幾つかの実施例において、前記第4決定モジュール304は、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第1処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第1決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第2決定サブモジュールと、を備える。
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第1処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第1決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第2決定サブモジュールと、を備える。
幾つかの実施例において、前記第1処理サブモジュールは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得るように構成される第1フュージョンユニットと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成される第1処理ユニットと、を備える。
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得るように構成される第1フュージョンユニットと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成される第1処理ユニットと、を備える。
幾つかの実施例において、前記第1決定サブモジュールは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第1決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第2決定ユニットと、を備え、
前記第2決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第1調整ユニットを備える。
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第1決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第2決定ユニットと、を備え、
前記第2決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第1調整ユニットを備える。
幾つかの実施例において、前記第1決定サブモジュールは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定するように構成される第3決定ユニットと、
前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得るように構成される第4決定ユニットと、
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第5決定ユニットと、を備える。
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定するように構成される第3決定ユニットと、
前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得るように構成される第4決定ユニットと、
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第5決定ユニットと、を備える。
幾つかの実施例において、前記第5決定ユニットは、
前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第1処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第1決定サブユニットと、を備える。
前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第1処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第1決定サブユニットと、を備える。
幾つかの実施例において、前記第2決定モジュール302は、
前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定するように構成される第3決定サブモジュールと、
第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得るように構成される第1変換サブモジュールと、
前記第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得るように構成される第2変換サブモジュールと、
前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第1インタラクションサブモジュールと、を備える。
前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定するように構成される第3決定サブモジュールと、
第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得るように構成される第1変換サブモジュールと、
前記第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得るように構成される第2変換サブモジュールと、
前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第1インタラクションサブモジュールと、を備える。
幾つかの実施例において、前記第3決定モジュール303は、
第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得るように構成される第3変換サブモジュールであって、前記第2所定値と前記第1所定値は、倍関係を有する、第3変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第4決定サブモジュールと、を備える。
第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得るように構成される第3変換サブモジュールであって、前記第2所定値と前記第1所定値は、倍関係を有する、第3変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第4決定サブモジュールと、を備える。
幾つかの実施例において、前記第4決定サブモジュールは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得るように構成される第1集約ユニットと、
前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第1フュージョンユニットと、を備える。
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得るように構成される第1集約ユニットと、
前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第1フュージョンユニットと、を備える。
幾つかの実施例において、前記装置は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第1変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第5決定モジュールと、を更に備える。
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第1変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第5決定モジュールと、を更に備える。
幾つかの実施例において、前記装置は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第2変換モジュールと、
前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第3変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第1フュージョンモジュールと、を更に備える。
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第2変換モジュールと、
前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第3変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第1フュージョンモジュールと、を更に備える。
幾つかの実施例において、前記装置は、
オリジナルポイントクラウドデータを取得するように構成される第1取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第6決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第2補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得るように構成される第1連結モジュールと、を更に備える。
オリジナルポイントクラウドデータを取得するように構成される第1取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第6決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第2補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得るように構成される第1連結モジュールと、を更に備える。
上記装置の実施例に関する記述は、上記方法の実施例に関する記述と類似しており、方法の実施例と同様な有益な効果を有することに留意されたい。本願の装置の実施例に開示されていない技術的細部について、本願の方法の実施例に関する記述を参照しながら理解すべきである。
本願の実施例において、上述したポイントクラウドデータ処理方法は、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、1台のコンピュータ機器(端末、サーバなど)に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、USBメモリ、リムーバブルハードディスク、読み出し専用メモリ(Read Only Memory:ROM)、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。従って、本願の実施例は、如何なる特定のハードウェアとソフトウェアとの組み合わせにも限定しない。
これに対応して、本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるポイントクラウドデータ処理方法におけるステップを実現することができる。
これに対応して、本願の実施例は、コンピュータ記憶媒体を更に提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令がプロセッサにより実行される時、上記実施例で提供されるポイントクラウドデータ処理方法のステップを実現する。
これに対応して、本願の実施例は、コンピュータ機器を提供する。図4は、本願の実施例によるコンピュータ機器の構造を示す概略図である。図4に示すように、前記機器400は、プロセッサ401、少なくとも1つの通信バス、通信インターフェース402、少なくとも1つの外部通信インターフェース及びメモリ403を備える。ここで、通信インターフェース402は、これらのコンポーネント間の接続通信を実現するように構成される。ここで、通信インターフェース402は、ディスプレイを含んでもよい。外部通信インターフェースは、標準的な有線インターフェース及び無線インターフェースを含んでもよい。ここで、前記プロセッサ401は、メモリにおける画像処理プログラムを実行し、上記実施例で提供されるポイントクラウドデータ処理方法のステップを実現するように構成される。
上記ポイントクラウドデータ処理装置、コンピュータ機器及び記憶媒体の実施例に関する記述は、上記方法の実施例に関する記述と類似しており、該当する方法の実施例と同様な技術的記述及び有益な効果を有する。紙数に限りがあるため、上記方法の実施例の記載を参照することができる。ここで、詳細な説明を省略する。本願のポイントクラウドデータ処理装置、コンピュータ機器及び記憶媒体の実施例に開示されていない技術的細部について、本願の方法の実施例に関する記述を参照しながら理解すべきである。
明細書全文を通じて述べられる「1つの実施例」または「一実施例」は、実施例に関連する特定の特徴、構造または特性が、本願の少なくとも1つの実施例に含まれることを意味すると理解されたい。従って、本明細書全体を通じて出現する「1つの実施例において」又は「一実施例において」は、同じ実施例を指すとは限らない。また、これらの特定の特徴、構造または特性は、任意かつ適切な方式で1つまたは複数の実施例に組み入れられることができる。本願の各実施例において、上記各プロセスの番号の大きさは、実行順の前後を意味するのではなく、各プロセスの実行順は、その機能および内在的な論理によって確定されるものであり、本発明の実施例の実施プロセスに対しいっさい限定を構成しないと理解すべきである。上記の本発明に係る実施例の番号は、ただ、記述するためのものであり、実施例の優劣を代表しない。本明細書において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図される。従って、一連の要素を含むプロセス、方法、品目又は装置は、これらの要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このようなプロセス、方法、品目又は装置に固有の要素も含む。更なる限定が存在しない場合、“・・・を含む”なる文章によって規定される要素は、該要素を有するプロセス、方法、品目又は装置内に、同じ要素が更に存在することを排除しない。
本願で提供される幾つかの実施例において、開示される機器及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した機器の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割であり、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、2つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。プログラム命令に関わるハードウェアにより、上記方法の実施例の全て又は一部のステップを完了することができ、上述したプログラムは、コンピュータ可読記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例のステップを実行することは、当業者であれば理解すべきである。上述した記憶媒体は、携帯型記憶機器、読み出し専用メモリ(Read Only Memory:ROM)、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
又は、本願の上記集積ユニットは、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、1台のコンピュータ機器(パソコン、サーバ、又はネットワーク装置など)に、本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶機器、ROM、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。以上は本願の具体的な実施形態に過ぎず、本願の保護範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
本願の実施例は、ポイントクラウドデータ処理方法、装置、機器及び記憶媒体を提供する。第1ポイントクラウドデータにおけるいずれか1つの処理対象ポイントに対して、まず、該処理対象ポイントとスケールが異なる複数組の近隣ポイントとの関連関係を決定する。次に、各組の近隣ポイントと処理対象ポイントとの関連関係に基づいて、処理対象ポイントの関連特徴を抽出する。続いて、複数組の近隣ポイントの関連特徴をフュージョンすることで、処理対象ポイントのターゲット特徴を得る。最後に、第1ポイントクラウドデータにおける複数の処理対象ポイントのターゲット特徴に基づいて、第1ポイントクラウドデータに対して補完を行い、第2ポイントクラウドデータを生成する。これにより、スケールが異なる複数組の近隣ポイントの特徴をフュージョンすることで、スケールが異なるポイントクラウド特徴に配慮を加えることができる。従って、抽出されたポイントクラウド特徴に、少なくとも一定の区間内でスケール不変性を持たせることができ、更に、抽出されたポイントクラウド特徴をより豊かにすることができる。抽出されたポイントクラウド特徴に基づいてポイントクラウド補完を行うことで得られたポイントクラウドは、より高い完備性を有し、物理空間における真実の三次元対象をより正確に表すことができる。
例えば、本願は以下の項目を提供する。
(項目1)
ポイントクラウドデータ処理方法であって、
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第1ポイントクラウドデータに対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成することと、を含む、ポイントクラウドデータ処理方法。
(項目2)
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、を含むことを特徴とする
項目1に記載の方法。
(項目3)
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得ることと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得ることと、を含むことを特徴とする
項目2に記載の方法。
(項目4)
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含み、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得ることを含むことを特徴とする
項目2に記載の方法。
(項目5)
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定することと、
前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得ることと、
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することと、を含むことを特徴とする
項目2又は3に記載の方法。
(項目6)
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することは、
前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得ることと、
前記組正規化結果に基づいて、前記組関連度を決定することと、を含むことを特徴とする
項目5に記載の方法。
(項目7)
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することは、
前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定することと、
第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得ることと、
前記第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得ることと、
前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定することと、を含むことを特徴とする
項目1から6のうちいずれか一項に記載の方法。
(項目8)
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することは、
第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得ることであって、前記第2所定値と前記第1所定値は、倍関係を有する、ことと、
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することと、を含むことを特徴とする
項目7に記載の方法。
(項目9)
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得ることと、
前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得ることと、を含むことを特徴とする
項目8に記載の方法。
(項目10)
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定する前に、前記方法は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得ることと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定することと、を更に含むことを特徴とする
項目1から9のうちいずれか一項に記載の方法。
(項目11)
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定した後、前記方法は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得ることと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
項目2から10のうちいずれか一項に記載の方法。
(項目12)
前記方法は、
オリジナルポイントクラウドデータを取得することと、
前記オリジナルポイントクラウドデータの確率分布を決定することと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得ることと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得ることと、を更に含むことを特徴とする
項目1から11のうちいずれか一項に記載の方法。
(項目13)
ポイントクラウドデータ処理装置であって、
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第1決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第1決定モジュールと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第2決定モジュールと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第3決定モジュールと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第4決定モジュールと、を備える、ポイントクラウドデータ処理装置。
(項目14)
前記第4決定モジュールは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第1処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第1決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第2決定サブモジュールと、を備えることを特徴とする
項目13に記載の装置。
(項目15)
前記処理サブモジュールは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得て、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成されることを特徴とする
項目14に記載の装置。
(項目16)
前記第1決定サブモジュールは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第1決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第2決定ユニットと、を備え、
前記第2決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第1調整ユニットを備えることを特徴とする
項目14に記載の装置。
(項目17)
前記第1決定サブモジュールは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定するように構成される第3決定ユニットと、
前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得るように構成される第4決定ユニットと、
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第5決定ユニットと、を備えることを特徴とする
項目14又は15に記載の装置。
(項目18)
前記第5決定ユニットは、
前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第1処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第1決定サブユニットと、を備えることを特徴とする
項目17に記載の装置。
(項目19)
前記第2決定モジュールは、
前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定するように構成される第3決定サブモジュールと、
第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得るように構成される第1変換サブモジュールと、
前記第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得るように構成される第2変換サブモジュールと、
前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第1インタラクションサブモジュールと、を備えることを特徴とする
項目13から18のうちいずれか一項に記載の装置。
(項目20)
前記第3決定モジュールは、
第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得るように構成される第3変換サブモジュールであって、前記第2所定値と前記第1所定値は、倍関係を有する、第3変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第4決定サブモジュールと、を備えることを特徴とする
項目19に記載の装置。
(項目21)
前記第4決定サブモジュールは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得るように構成される第1集約ユニットと、
前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第1フュージョンユニットと、を備えることを特徴とする
項目20に記載の装置。
(項目22)
前記装置は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第1変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第5決定モジュールと、を更に備えることを特徴とする
項目13から21のうちいずれか一項に記載の装置。
(項目23)
前記装置は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第2変換モジュールと、
前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第3変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第1フュージョンモジュールと、を更に備えることを特徴とする
項目14から22のうちいずれか一項に記載の装置。
(項目24)
前記装置は、
オリジナルポイントクラウドデータを取得するように構成される第1取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第6決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第2補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得るように構成される第1連結モジュールと、を更に備えることを特徴とする
項目13から24のうちいずれか一項に記載の装置。
(項目25)
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、項目1から12のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
(項目26)
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、項目1から12のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
(項目27)
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、項目1から12のうちいずれか一項に記載のポイントクラウドデータ処理方法のステップを実現することができる、コンピュータプログラム製品。
例えば、本願は以下の項目を提供する。
(項目1)
ポイントクラウドデータ処理方法であって、
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第1ポイントクラウドデータに対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成することと、を含む、ポイントクラウドデータ処理方法。
(項目2)
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、を含むことを特徴とする
項目1に記載の方法。
(項目3)
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得ることと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得ることと、を含むことを特徴とする
項目2に記載の方法。
(項目4)
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含み、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得ることを含むことを特徴とする
項目2に記載の方法。
(項目5)
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定することと、
前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得ることと、
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することと、を含むことを特徴とする
項目2又は3に記載の方法。
(項目6)
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することは、
前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得ることと、
前記組正規化結果に基づいて、前記組関連度を決定することと、を含むことを特徴とする
項目5に記載の方法。
(項目7)
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することは、
前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定することと、
第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得ることと、
前記第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得ることと、
前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定することと、を含むことを特徴とする
項目1から6のうちいずれか一項に記載の方法。
(項目8)
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することは、
第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得ることであって、前記第2所定値と前記第1所定値は、倍関係を有する、ことと、
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することと、を含むことを特徴とする
項目7に記載の方法。
(項目9)
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得ることと、
前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得ることと、を含むことを特徴とする
項目8に記載の方法。
(項目10)
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定する前に、前記方法は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得ることと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定することと、を更に含むことを特徴とする
項目1から9のうちいずれか一項に記載の方法。
(項目11)
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定した後、前記方法は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得ることと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
項目2から10のうちいずれか一項に記載の方法。
(項目12)
前記方法は、
オリジナルポイントクラウドデータを取得することと、
前記オリジナルポイントクラウドデータの確率分布を決定することと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得ることと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得ることと、を更に含むことを特徴とする
項目1から11のうちいずれか一項に記載の方法。
(項目13)
ポイントクラウドデータ処理装置であって、
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第1決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第1決定モジュールと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第2決定モジュールと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第3決定モジュールと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第4決定モジュールと、を備える、ポイントクラウドデータ処理装置。
(項目14)
前記第4決定モジュールは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第1処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第1決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第2決定サブモジュールと、を備えることを特徴とする
項目13に記載の装置。
(項目15)
前記処理サブモジュールは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得て、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成されることを特徴とする
項目14に記載の装置。
(項目16)
前記第1決定サブモジュールは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第1決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第2決定ユニットと、を備え、
前記第2決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第1調整ユニットを備えることを特徴とする
項目14に記載の装置。
(項目17)
前記第1決定サブモジュールは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定するように構成される第3決定ユニットと、
前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得るように構成される第4決定ユニットと、
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第5決定ユニットと、を備えることを特徴とする
項目14又は15に記載の装置。
(項目18)
前記第5決定ユニットは、
前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第1処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第1決定サブユニットと、を備えることを特徴とする
項目17に記載の装置。
(項目19)
前記第2決定モジュールは、
前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定するように構成される第3決定サブモジュールと、
第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得るように構成される第1変換サブモジュールと、
前記第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得るように構成される第2変換サブモジュールと、
前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第1インタラクションサブモジュールと、を備えることを特徴とする
項目13から18のうちいずれか一項に記載の装置。
(項目20)
前記第3決定モジュールは、
第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得るように構成される第3変換サブモジュールであって、前記第2所定値と前記第1所定値は、倍関係を有する、第3変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第4決定サブモジュールと、を備えることを特徴とする
項目19に記載の装置。
(項目21)
前記第4決定サブモジュールは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得るように構成される第1集約ユニットと、
前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第1フュージョンユニットと、を備えることを特徴とする
項目20に記載の装置。
(項目22)
前記装置は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第1変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第5決定モジュールと、を更に備えることを特徴とする
項目13から21のうちいずれか一項に記載の装置。
(項目23)
前記装置は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第2変換モジュールと、
前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第3変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第1フュージョンモジュールと、を更に備えることを特徴とする
項目14から22のうちいずれか一項に記載の装置。
(項目24)
前記装置は、
オリジナルポイントクラウドデータを取得するように構成される第1取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第6決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第2補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得るように構成される第1連結モジュールと、を更に備えることを特徴とする
項目13から24のうちいずれか一項に記載の装置。
(項目25)
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、項目1から12のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
(項目26)
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、項目1から12のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
(項目27)
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、項目1から12のうちいずれか一項に記載のポイントクラウドデータ処理方法のステップを実現することができる、コンピュータプログラム製品。
Claims (27)
- ポイントクラウドデータ処理方法であって、
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第1ポイントクラウドデータに対してポイントクラウド補完を行い、第2ポイントクラウドデータを生成することと、を含む、ポイントクラウドデータ処理方法。 - 前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、を含むことを特徴とする
請求項1に記載の方法。 - 前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得ることと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得ることと、を含むことを特徴とする
請求項2に記載の方法。 - 前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含み、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得ることを含むことを特徴とする
請求項2に記載の方法。 - 前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定することと、
前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得ることと、
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することと、を含むことを特徴とする
請求項2又は3に記載の方法。 - 前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することは、
前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得ることと、
前記組正規化結果に基づいて、前記組関連度を決定することと、を含むことを特徴とする
請求項5に記載の方法。 - 前記各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することは、
前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定することと、
第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得ることと、
前記第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得ることと、
前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定することと、を含むことを特徴とする
請求項1から6のうちいずれか一項に記載の方法。 - 前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することは、
第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得ることであって、前記第2所定値と前記第1所定値は、倍関係を有する、ことと、
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することと、を含むことを特徴とする
請求項7に記載の方法。 - 前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得ることと、
前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得ることと、を含むことを特徴とする
請求項8に記載の方法。 - 取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定する前に、前記方法は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得ることと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定することと、を更に含むことを特徴とする
請求項1から9のうちいずれか一項に記載の方法。 - 前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定した後、前記方法は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得ることと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
請求項2から10のうちいずれか一項に記載の方法。 - 前記方法は、
オリジナルポイントクラウドデータを取得することと、
前記オリジナルポイントクラウドデータの確率分布を決定することと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得ることと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得ることと、を更に含むことを特徴とする
請求項1から11のうちいずれか一項に記載の方法。 - ポイントクラウドデータ処理装置であって、
取得した第1ポイントクラウドデータから、いずれか1つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第1決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第1決定モジュールと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第2決定モジュールと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第3決定モジュールと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第4決定モジュールと、を備える、ポイントクラウドデータ処理装置。 - 前記第4決定モジュールは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第1処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第1決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第2決定サブモジュールと、を備えることを特徴とする
請求項13に記載の装置。 - 前記処理サブモジュールは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得て、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成されることを特徴とする
請求項14に記載の装置。 - 前記第1決定サブモジュールは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第1決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第2決定ユニットと、を備え、
前記第2決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第1調整ユニットを備えることを特徴とする
請求項14に記載の装置。 - 前記第1決定サブモジュールは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第1信頼度を決定するように構成される第3決定ユニットと、
前記第1信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第2信頼度を決定し、第2信頼度集合を得るように構成される第4決定ユニットと、
前記第2信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第5決定ユニットと、を備えることを特徴とする
請求項14又は15に記載の装置。 - 前記第5決定ユニットは、
前記第2信頼度集合における第2信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第1処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第1決定サブユニットと、を備えることを特徴とする
請求項17に記載の装置。 - 前記第2決定モジュールは、
前記各組の近隣ポイントの第1初期特徴及び前記処理対象ポイントの第2初期特徴をそれぞれ決定するように構成される第3決定サブモジュールと、
第1所定値に基づいて、前記第1初期特徴に対して線形変換を行い、第1変換特徴を得るように構成される第1変換サブモジュールと、
前記第1所定値に基づいて、前記第2初期特徴に対して線形変換を行い、第2変換特徴を得るように構成される第2変換サブモジュールと、
前記各組の近隣ポイントの第1変換特徴と前記第2変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第1インタラクションサブモジュールと、を備えることを特徴とする
請求項13から18のうちいずれか一項に記載の装置。 - 前記第3決定モジュールは、
第2所定値に基づいて、前記各組の近隣ポイントの第1初期特徴に対して線形変換を行い、第3変換特徴を得るように構成される第3変換サブモジュールであって、前記第2所定値と前記第1所定値は、倍関係を有する、第3変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第3変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第4決定サブモジュールと、を備えることを特徴とする
請求項19に記載の装置。 - 前記第4決定サブモジュールは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第3変換特徴に対して集約を行い、集約特徴を得るように構成される第1集約ユニットと、
前記集約特徴と前記第2初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第1フュージョンユニットと、を備えることを特徴とする
請求項20に記載の装置。 - 前記装置は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第1変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第5決定モジュールと、を更に備えることを特徴とする
請求項13から21のうちいずれか一項に記載の装置。 - 前記装置は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第2変換モジュールと、
前記処理対象ポイントの第2初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第3変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第1フュージョンモジュールと、を更に備えることを特徴とする
請求項14から22のうちいずれか一項に記載の装置。 - 前記装置は、
オリジナルポイントクラウドデータを取得するように構成される第1取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第6決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第2補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第1ポイントクラウドデータを得るように構成される第1連結モジュールと、を更に備えることを特徴とする
請求項13から24のうちいずれか一項に記載の装置。 - コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、請求項1から12のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
- コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、請求項1から12のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
- コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、請求項1から12のうちいずれか一項に記載のポイントクラウドデータ処理方法のステップを実現することができる、コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SG10202103894R | 2021-04-15 | ||
SG10202103894R | 2021-04-15 | ||
PCT/IB2021/054792 WO2022096943A1 (en) | 2021-04-15 | 2021-06-01 | Method and apparatus for processing point cloud data, device, and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023503731A true JP2023503731A (ja) | 2023-02-01 |
Family
ID=80213610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021544325A Withdrawn JP2023503731A (ja) | 2021-04-15 | 2021-06-01 | ポイントクラウドデータ処理方法、装置、機器及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220335566A1 (ja) |
JP (1) | JP2023503731A (ja) |
KR (1) | KR20220143555A (ja) |
CN (1) | CN114051625A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693970A (zh) * | 2022-03-28 | 2022-07-01 | 北京百度网讯科技有限公司 | 对象分类方法、深度学习模型的训练方法、装置和设备 |
CN116626685B (zh) * | 2023-07-20 | 2023-09-29 | 山东大禹水务建设集团有限公司 | 基于机器学习的河道底泥实时监测方法及系统 |
-
2021
- 2021-06-01 JP JP2021544325A patent/JP2023503731A/ja not_active Withdrawn
- 2021-06-01 KR KR1020217039195A patent/KR20220143555A/ko unknown
- 2021-06-01 CN CN202180001666.7A patent/CN114051625A/zh active Pending
- 2021-06-30 US US17/364,367 patent/US20220335566A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20220335566A1 (en) | 2022-10-20 |
KR20220143555A (ko) | 2022-10-25 |
CN114051625A (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7213358B2 (ja) | アイデンティティ検証方法、アイデンティティ検証装置、コンピュータ機器、及びコンピュータプログラム | |
Liu et al. | Multi-modal clique-graph matching for view-based 3D model retrieval | |
JP5963609B2 (ja) | 画像処理装置、画像処理方法 | |
Li et al. | Hybrid shape descriptor and meta similarity generation for non-rigid and partial 3D model retrieval | |
JP2023503731A (ja) | ポイントクラウドデータ処理方法、装置、機器及び記憶媒体 | |
JP2023503732A (ja) | ポイントクラウド補完方法、ネットワーク訓練方法、装置、機器及び記憶媒体 | |
Hu et al. | Bin ratio-based histogram distances and their application to image classification | |
Abdul-Rashid et al. | Shrec’18 track: 2d image-based 3d scene retrieval | |
CN112200041A (zh) | 视频动作识别方法、装置、存储介质与电子设备 | |
WO2023020214A1 (zh) | 检索模型的训练和检索方法、装置、设备及介质 | |
Lin et al. | Robust fisher codes for large scale image retrieval | |
WO2022096943A1 (en) | Method and apparatus for processing point cloud data, device, and storage medium | |
Zhao et al. | Multifeature fusion action recognition based on key frames | |
Tan et al. | Distinctive accuracy measurement of binary descriptors in mobile augmented reality | |
Zhang et al. | Variational autoencoder with cca for audio–visual cross-modal retrieval | |
Lejbølle et al. | Enhancing person re‐identification by late fusion of low‐, mid‐and high‐level features | |
Zou et al. | Transductive zero-shot hashing for multilabel image retrieval | |
Nie et al. | Deep correlated joint network for 2-d image-based 3-d model retrieval | |
Zhang et al. | Towards optimal VLAD for human action recognition from still images | |
Ding et al. | An efficient 3D model retrieval method based on convolutional neural network | |
CN110197226B (zh) | 一种无监督图像翻译方法及系统 | |
Chen et al. | 3D object retrieval with graph-based collaborative feature learning | |
CN114912540A (zh) | 迁移学习方法、装置、设备及存储介质 | |
JP2010271787A (ja) | 特徴量生成装置、特徴量生成方法および特徴量生成プログラム、ならびにクラス判別装置、クラス判別方法およびクラス判別プログラム | |
Lopez-Sastre et al. | Heterogeneous visual codebook integration via consensus clustering for visual categorization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210728 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230118 |