JP2023017718A - 機械的アセンブリを表す３ｄモデル化オブジェクトのセグメント化 - Google Patents

Abstract

【課題】低減された計算時間で３Ｄモデル化オブジェクトの正確でロバストなセグメンテーションを効率的に達成する方法、コンピュータプログラム及びデバイスを提供する。【解決手段】抽象化ニューラルネットワークは、３Ｄモデル化オブジェクトに適合する第１の数の第１のプリミティブの第１の集合を出力し、第１のセットから、第２の数の第２のプリミティブの第２のセットを決定する。第２の数は、第１の数よりも小さい。前記決定することは、第３のプリミティブの第３のセットを第１のセットとして初期化することと、反復を実行することとを含む。各反復は、第３のプリミティブの部分集合を夫々１つの夫々の単一の第４のプリミティブに一緒にマージし、それによって第４のプリミティブの第４のセットを取得し、次の反復の第３のセットを現在の反復の第４のセットとして設定し、第２のセットを取得された第４のセットとして設定する。【選択図】図１

Description

本開示はコンピュータプログラム及びシステムの分野に関し、より具体的には、３Ｄモデル化オブジェクトをセグメント化するための方法、コンピュータプログラム、及びデバイスに関する。

物体の設計、エンジニアリング及び製造のために、多数のシステム及びプログラムが市場に提供されている。ＣＡＤはコンピュータ支援設計（Computer-Aided Design）の頭字語であり、例えば、オブジェクトを設計するためのソフトウェアソリューションに関する。ＣＡＥはコンピュータ支援エンジニアリング（Computer-Aided Engineering）の頭字語であり、例えば、将来の製品の物理的挙動をシミュレートするためのソフトウェアソリューションに関する。ＣＡＭはコンピュータ支援製造（Computer-Aided Manufacturing）の頭字語であり、例えば、製造プロセス及び動作を定義するためのソフトウェアソリューションに関する。そのようなコンピュータ支援設計システムでは、グラフィカルユーザーインタフェースが技法の効率に関して重要な役割を果たす。これらの技術は、製品ライフサイクル管理（ＰＬＭ）システム内に組み込まれてもよい。ＰＬＭとは、企業が製品データを共有し、共通の処理を適用し、企業知識を活用して、長期的な企業のコンセプトを越えて、コンセプトから生涯にわたる製品の開発に役立てることを支援するビジネス戦略のことをいう。（ＣＡＴＩＡ、ＥＮＯＶＩＡ及びＤＥＬＭＩＡの商標で）ダッソーシステムズによって提供されるＰＬＭソリューションは、製品工学知識を編成するエンジニアリングハブと、製造工学知識を管理する製造ハブと、エンタープライズハブ及びエンジニアリングハブ及び製造ハブの両方への接続を可能にする企業ハブとを提供する。全体として、システムは最適化された製品定義、製造準備、生産、及びサービスを駆動する動的な知識ベースの製品作成及び意思決定サポートを可能にするために、製品、プロセス、リソースをリンクするオープンオブジェクトモデルを提供する。

この文脈及び他の文脈内で、単に「３Ｄセグメンテーション」又は「セグメンテーション」と呼ばれることもある３Ｄモデル化オブジェクトをセグメンテーションするステップは、広く重要性を増している。

機械的アセンブリを表す３Ｄモデル化オブジェクト（例えば、メッシュ）が与えられると、３Ｄセグメンテーションは一般に、３Ｄモデル化オブジェクトの幾何学的部分（例えば、機械的アセンブリの部品）を、セグメントと呼ばれるいくつかの接続されたクラスタに分割／区分することで構成され得、各セグメントは他のセグメントに対するその類似性を最小化しながら、その内部整合性を最大化する。セグメンテーションプロセスの結果は、各セグメントが他のセグメントに対して明確な境界を有する意味的に一貫したセットを表すように、機械的アセンブリの部品のいくつかのセット（セグメント）へのパーティションをもたらしてもよい。３Ｄセグメンテーションの目的は３Ｄモデル化オブジェクト（例えば、３Ｄモデル化オブジェクトのメッシュ）を入力とし、この入力をいくつかの部品に分解すること（例えば、各メッシュ頂点を所与の部分に割り当てることによって）であってもよい。

最近の研究は、３Ｄモデル化オブジェクトを分割するためのディープニューラルネットワークの適用に焦点を当てている。特に、最新技術には、３Ｄ形状を分割するために教師ありディープラーニング法を使用する先行研究と、教師なしディープラーニング法を使用する先行研究とが含まれる。

監督された方法の中で、Ｌｕｏら［１］は、シーン及びオブジェクトセグメンテーションを実行するためのボトムアップ方法を提案している。Ganapathi-Subramanianら［２］ は現実世界のセンサーによって捕捉された生のデータをセグメント化するために、オブジェクトカテゴリごとにテンプレートのセットを使用する。より最近では、Wangら［３］がオブジェクトをオーバーセグメント化するためのパイプラインを開発し、次いで、オーバーセグメント化されたパッチを一緒にマージする。これらの方法は、１つの大きな欠点を有する：教師あり学習の使用がこれらの方法をラベルなし及び／又は見えないオブジェクトカテゴリに適用することを可能にしない。

いくつかの方法は、様々なネットワークを学習するために再構成損失を使用して、代わりに教師なし学習に焦点を当てた。ジェノバら［４］は、３Ｄ形状を表すために一組のガウス関数をパラメータ化するためにニューラルネットワークを学習する。その後、ジェノバらは、彼ら［５］の最初の手法を改良した。両方の参考文献は、主に幾何学的精度に焦点を当てている。同じカテゴリにおいて、デンら［６］は、３Ｄオブジェクトを一組の凸部に分解するためにオートエンコーダを学習する。前述の基準とは対照的に、主な用途は、リアルタイム物理シミュレーションにおいて分解を使用することである。これらの作業はすべて、固定数の部分を出力し、意味的に関連する形状セグメンテーションをもたらすことはできない。

また、従来技術は、３Ｄ形状が与えられると、プリミティブ抽象化を実行するソリューションを含む。Tulsianiら［７］による被験者に対する第１の解決策は、１組の立方体を有する３Ｄ形状を表すネットワークを学習する。Paschalidouら［８］及びＳｕｎら［９］は、この方法に対する様々な改良を提案している。第１の方法は、強化学習の使用を避けるために損失を適応させ、基本プリミティブとして（立方体の代わりに）超楕円体を使用する。第２のものは、各抽象化に対して異なる数の直方体を有するいくつかのプリミティブ抽象化を予測するためにネットワークを学習する。最終的な形状抽象化は、各抽象化から最良の部分を選択することによって得られる。最後に、Paschalidouら［１０］は、再び超楕円体によって表される２つの部分に形状を反復的に分解することによって、階層の概念を導入する。これらの基準はすべて、異なるオブジェクトがそれらを表すために異なる数のプリミティブを必要とするという事実に対処する独自の方法を有する。しかしながら、それらのいずれも、低減された計算時間で３Ｄモデル化オブジェクトの正確でロバストなセグメンテーションを効率的に達成することを可能にしない。

この文脈内で、機械的アセンブリを表す３Ｄモデル化オブジェクトをセグメント化するための改善された方法が依然として必要とされている。

[1] T. Luo, K. Mo, Z. Huang, J. Xu, S. Hu, L. Wang, H. Su, “LEARNING TO GROUP: A BOTTOM-UP FRAMEWORK FOR 3D PART DISCOVERY IN UNSEEN CATEGORIES” ICLR 2020
[2] V. Ganapathi-Subramanian, O. Diamanti, S. Pirk, C. Tang, M. Niessner, L. Guibas. "Parsing geometry using structure-aware shape templates” 3DV 2018
[3] X. Wang, X. Sun, X. Cao, K. Xu, B. Zhou, “Learning Fine-Grained Segmentation of 3D Shapes without Part Labels”. CVPR 2021
[4] K. Genova, F. Cole, D. Vlasic, A. Sarna, W. Freeman, T. Funkhouser, “Learning Shape Templates with Structured Implicit Functions”. ICCV 2019
[5] K. Genova, F. Cole, A. Sud, A. Sarna, T. Funkhouser, “Local Deep Implicit Functions for 3D Shape”. CVPR 2020
[6] B. Deng, K. Genova, S. Yazdani, S. Bouaziz, G. Hinton, A. Tagliasacchi. “CvxNet: Learnable Convex Decomposition”. CVPR 2020
[7] S. Tulsiani, H. Su, L. J. Guibas, A. Efros, J. Malik. “Learning Shape Abstractions by Assembling Volumetric Primitives”. CVPR 2018
[8] D. Paschalidou, A. Osman, A. Geiger. ”Superquadrics Revisited: Learning 3D Shape Parsing beyond Cuboids”. CVPR 2019
[9] C. Sun, Q. Zou, X. Tong, Y. Liu. “Learning Adaptive Hierarchical Cuboid Abstractions of 3D Shape Collections”. SIGGRAPH Asia 2019
[10] D. Paschalidou, L. van Gool, A. Geiger, “Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from a Single RGB Image”, CVPR 2020
[11] A. X. Chang et al., “ShapeNet: An Information-Rich 3D Model Repository,” Dec. 2015.
[12] Zvi Galil. “Efficient algorithms for finding maximum matching in graphs”. In: ACM Comput. Surv. 18.1 (Mar. 1986), pp. 23-38. ISSN: 0360-0300. DOI: 10.1145/6462. 6502. URL: https://doi.org/10.1145/6462.6502 (visited on 10/05/2020)
[13] Lin Gao, Yu-Kun Lai, Jie Yang, Zhang Ling-Xiao, Shihong Xia, and Leif Kobbelt. Sparse data driven mesh deformation. IEEE transactions on visualization and computer graphics (2019)
[14] Ales Jaklic, Ales Leonardis, and F. Solina. Segmentation and Recovery of Superquadrics. en. Computational Imaging and Vision. Springer Netherlands, 2000. ISBN: 978- 0-7923-6601-0. DOI: 10.1007/978- 94- 015- 9456- 1. URL: https://www.springer.com/gp/book/9780792366010
[15] Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 652-660, 2017a.

したがって、機械的アセンブリを表す３Ｄモデル化オブジェクトをセグメント化するためのコンピュータ実装方法が提供される。本方法は、３Ｄモデル化オブジェクトを提供するステップを含む。本方法は、３Ｄモデル化オブジェクトの表現を抽象化ニューラルネットワークに入力するステップをさらに含む。抽象化ニューラルネットワークは、３Ｄモデル化オブジェクトに適合する第１のプリミティブの第１のセットを出力する。第１のセットは、第１の数の第１のプリミティブからなる。本方法は第１のセットから、それぞれの第２のプリミティブの１つ又は複数の第２のセットをそれぞれ決定するステップをさらに含む。各第２のセットは、それぞれの第２の数のそれぞれの第２のプリミティブからなる。第２の数は、第１の数よりも小さい。決定するステップは、第３のプリミティブの第３のセットを第１のセットとして初期化するステップを含む。決定するステップは、１つ又は複数の反復を実行するステップをさらに含む。各反復は、第３のプリミティブの第３のセットを提供するステップを含む。各反復はまた、第３のプリミティブの１つ又は複数の部分集合をそれぞれ１つの単一の第４のプリミティブに一緒にマージするステップを含む。それによって、反復は、各単一の第４のプリミティブと、各マージされていない第３のプリミティブとからなる第４のプリミティブの第４のセットを取得する。各反復は、次の反復の第３のセットを現在の反復の第４のセットとして設定するステップをさらに含む。決定するステップは、１つ又は複数の第２のセットを１つ又は複数の取得された第４のセットとして設定するステップをさらに含む。

この方法は、以下のうちの１つ又は複数を含むことができる：
前記マージするステップが、候補部分集合のグループ間でマージされるべき前記１つ又は複数の部分集合を決定するステップを備え、前記マージされるべき前記１つ又は複数の部分集合を前記決定するステップは、前記グループのそれぞれの候補部分集合ごとに、前記それぞれの候補部分集合のマージコストのペナルティを含む。
前記マージするステップが、サブセットの候補グループのうちの候補サブセットの前記グループを決定するステップを備え、前記候補サブセットの前記グループを決定するステップが、各候補グループについて、前記各候補グループのすべてのサブセットについて、各サブセットの前記第３のプリミティブ間のマージ互換性のグローバルペナルティを含む。
前記サブセットの候補グループが、前記第３のセットの各パーティションから第３のプリミティブのペアになり、前記候補サブセットのグループを決定するステップが、最小重みマッチングアルゴリズムを含む。
前記抽象化ニューラルネットワークが、
エンコーダーであって、当該エンコーダーは任意選択的に畳み込みニューラルネットワークを備え、及び／又は当該エンコーダーはボクセルグリッドを入力として取り込むように構成され、抽象ニューラルネットワークに入力される３Ｄモデル化オブジェクトの表現はボクセルグリッドフォーマットに従うエンコーダーと、
プリミティブサイズパラメータ、プリミティブ位置決めパラメータ及びプリミティブ配向パラメータをそれぞれ出力するように構成された３つのサブネットワーク、及び任意選択で、プリミティブ形状パラメータを出力するように構成された１つの追加のサブネットワークであって、任意選択で、少なくとも１つ（例えば、それぞれ）のサブネットワークはそれぞれ完全に接続された層から構成される（例えば、各サブネットワークの第１の数及びそれぞれの出力されたパラメータの数に応じた出力サイズ及び／又は第１の数がハイパーパラメータである）サブネットワークと
を含む。
前記１つ又は複数の第２のセットが複数の第２のセットを含み、前記方法が、それぞれが以下を含む１回以上の反復を含む。
ユーザインタラクションの際に、複数の第２のセットのうちの単一の第２のセットを選択するステップ、及び
選択された第２のセットのグラフィック表現をリアルタイムで表示するステップ。
単一の第４のセットを自動的に選択ステップであって、選択された単一の第４のセットはしきい値以上の連続する反復間のマージ再構成損失の進化に対応するステップと、選択した単一の４番目のセットをマーキングするステップとを有する。

前記抽象化ニューラルネットワークが、それぞれの機械的アセンブリをそれぞれ表す注釈付きでない３Ｄモデル化オブジェクトを含むデータセット上で教師なし的な方法で学習される。
前記マージするステップが各部分集合の表現をマージングニューラルネットワークに入力するステップを含み、前記マージングニューラルネットワークが前記それぞれの単一の第４のプリミティブを出力する。
前記合流ニューラルネットワークが、
任意選択的に、エンコーダーは畳み込みニューラルネットワークを備え、及び／又はエンコーダーはボクセルグリッド及び／又は点群を入力として取り込むように構成され、マージングニューラルネットワークに入力されるそれぞれのサブセットの表現はそれぞれボクセルグリッドフォーマット又は点群フォーマットに従っており、
プリミティブサイズパラメータ、プリミティブ測位パラメータ及びプリミティブ方位パラメータを各出力するように各構成された３つのサブネットワークと、プリミティブ形状パラメータを出力するように構成された任意選択的に１つの追加のサブネットワークであって、任意選択的に少なくとも１つ（例えば、各）のサブネットワークは各完全に接続された層から構成される（例えば、各のサブネットワークの各の出力パラメータに応じた出力サイズを有する）サブネットワーク
を含む。
前記抽象化ニューラルネットワーク及び前記マージングニューラルネットワークのうちの少なくとも１つが、再構成損失をペナルティとするそれぞれの学習損失に基づいて学習され、任意選択的に、前記再構成損失が点群ディスタンスに基づいており、前記抽象化ニューラルネットワークの前記学習損失が重複損失及び領域損失をさらにペナルティとし、及び／又は前記学習損失が前記再構成損失、前記重複損失、及び前記領域損失の加重和に等しい。

さらに、抽象化ニューラルネットワークを学習するための、及び／又はマージングニューラルネットワークを学習するためのコンピュータ実施方法が提供される。学習のいずれか又は両方は教師なしであってもよく、すなわち、注釈が付けられていないデータセットに基づいてもよい。

さらに、３Ｄモデル化物体をセグメント化するためのコンピュータ実装方法を実行するための命令と、抽象ニューラルネットワークを学習するためのコンピュータ実装方法と、及び／又はマージングニューラルネットワークを学習するためのコンピュータ実装方法とを含むコンピュータプログラムが提供される。

さらに、コンピュータプログラムが記録されたデータ記憶媒体を含む装置が提供される。この装置は、例えばＳａａＳ、又は他のサーバ、あるいはクラウドベースのプラットフォームなど上で、一時的でないコンピュータ可読媒体を形成するか、又はそのような媒体として機能することができる。デバイスは代替的に、データ記憶媒体に結合されたプロセッサを備えることができる。したがって、装置は全体的又は部分的にコンピュータシステムを形成することができる（たとえば、装置は、システム全体のサブシステムである）。システムは、プロセッサに結合されたグラフィカルユーザーインターフェースをさらに備えることができる。

方法の一例のフローチャートを示す。 体制の一例のフローチャートを示す。 マージアルゴリズムの一例のフローチャートである。 マージアルゴリズムの間の再構成損失の進化の実例を示す。 形状パラメータに関する超楕円体形状の変形例を示す。 初期抽象化モデルのアーキテクチャの一例を示す。 反復プロセスを用いた簡潔な抽象化の例を示す。 対話式形状抽象化の例を示す。 コンピュータシステムの一例を示す。

図１のフローチャートに関連して、機械的アセンブリを表す３Ｄモデル化オブジェクトをセグメント化するためのコンピュータ実装方法が提案される。この方法は、３Ｄモデル化オブジェクトを提供するステップＳ１０を含む。方法は、３Ｄモデル化オブジェクトの表現を抽象化ニューラルネットワークに入力するステップＳ２０をさらに含む。抽象化ニューラルネットワークは、３Ｄモデル化オブジェクトに適合する第１のプリミティブの第１のセットを出力する。第１のセットは、第１の数の第１のプリミティブからなる。本方法は、第１のセットから、それぞれの第２のプリミティブの１つ又は複数の第２のセットをそれぞれ決定するステップＳ３０をさらに含む。第２のセットは、それぞれの第２の数のそれぞれの第２のプリミティブからなる。第２の数は、第１の数よりも小さい。決定するステップは、第３のプリミティブの第３のセットを第１のセットとして初期化するステップを含む。決定するステップは、１つ又は複数の反復を実行することをさらに含む。各反復は、第３のプリミティブの第３のセットを提供するステップと、第３のプリミティブの１つ又は複数の部分集合を一緒にそれぞれ１つのそれぞれの単一の第４のプリミティブにマージするステップと、それによって、各単一の第４のプリミティブ及び各非マージされた第３のプリミティブからなる第４のプリミティブの第４のセットを取得するステップと、次の反復の第３のセットを現在の反復の第４のセットとして設定するステップとを備える。決定するステップは、１つ又は複数の第２のセットを１つ又は複数の取得された第４のセットとして設定することをさらに含む。

これは、機械的アセンブリを表す３Ｄモデル化オブジェクトをセグメント化するための改善された方法を構成する。

最初に、第１のプリミティブの第１の設定を決定し、次いで、プリミティブの副設定を共に反復的にマージすることによって、本方法は特に関連性があり、ロバストかつ正確な方法で３Ｄモデル化オブジェクトをセグメント化することを可能にする。この方法は、抽象化ニューラルネットワーク、すなわち第１のプリミティブの第１のセットの出力から開始する。この第１のセットは、反復プロセスによって出力される１つ又は複数の第２のセットよりも高い粒度を提示する。実際、第１の数は、それぞれの第２の数の各々よりも厳密に高い。したがって、第１の設定は、３Ｄモデル化オブジェクトのオーバーセグメンテーションと見なすことができる。この第１のオーバーセグメンテーションから出発して、正確な方法で、すなわち、３Ｄモデル化オブジェクトの微細な幾何学的特徴を考慮することによって、３Ｄモデル化オブジェクトをセグメント化することが可能になる。

さらに、本方法は反復プロセスに基づいて１つ又は複数の第２のセットを決定し、反復プロセスは、各反復において、プリミティブの１つ又は複数の部分集合をそれぞれ新しいプリミティブにマージすることを含む。したがって、反復プロセスは、各反復において、前の反復中に取得された第４のセットと一致する第４のセットを取得することを可能にする。マージはコヒーレンスを回復するために、３Ｄモデル化オブジェクトのジオメトリーを局所的に見ることを可能にする。

加えて、本方法は、学習バイアスを低減することを可能にする。実際、第１の微細なセグメンテーションから開始し、次いでマージすることによって、学習データセットの部分と比較して複雑であってもよい機械的アセンブリのジオメトリーをよりよく考慮することが可能になる。さらに、この方法は、学習プロセスの重複を回避する。オーバーセグメンテーションから開始し、次いでプリミティブの部分集合をマージするという事実は、計算時間において妥当なままであることを可能にする。

本明細書における３Ｄモデル化オブジェクトのセグメンテーションは、３Ｄモデル化オブジェクトを「セグメント」と呼ばれる別個の部分に分割することを可能にするデータを決定することを意味する。本方法は、そのようなデータを、３Ｄモデル化オブジェクトにそれぞれ適合する１つ又は複数の第２のプリミティブセットの形態で提供する。第２のセットは、各々１つのセグメンテーションを形成することができ、第２のセットの各プリミティブは、１つのセグメントを表すことができる。

本方法は、例えば、その部分からそれぞれのプリミティブまでの距離に基づいて、３Ｄモデル化オブジェクトの各部分を少なくとも１つの第２のセット（例えば、各第２のセット又は選択された単一の第２のセット）のそれぞれのプリミティブにマッピングすることをさらに含んでもよい（例えば、３Ｄモデル化オブジェクトの部分は、最も近いプリミティブにマッピングされてもよい）。方法は、マッピングされた部分をそれに応じてラベル付けすることをさらに含んでもよい。例えば、プリミティブの少なくとも１つの第２の設定について、セグメンテーションは各プリミティブについてそれぞれのラベルを定義／インスタンス化することと、３Ｄモデル化オブジェクトの各部分をそれぞれのラベルに割り当てること（すなわち、各部分をそれぞれのラベルでマーキングすること）とを含んでもよい。例えば、３Ｄモデル化オブジェクトは離散的な幾何学的表現（例えば、メッシュ又はそれぞれ点群）を含むことができ、この方法はそれぞれのラベルに、それぞれの離散的素子（例えば、三角形メッシュ又はそれぞれの点の際の三角形のようなメッシュタイル）を割り当てることを含むことができる。割り当ては、それぞれのラベルに対応するプリミティブとの距離に基づいてもよい。例えば、本方法は、３Ｄモデル化オブジェクトの各部分を最も近いプリミティブに割り当てることができる。機械的アセンブリの部品は、機械的アセンブリを表すメッシュの部分、又は機械的アセンブリを表す３ＤＣＡＤモデルの部分であってもよい。したがって、セグメントはそれぞれ、同じラベルを有する異なる部分に対応してもよい。

この方法は、プリミティブのいくつかのセット（第１、第２、第３、及び第４のセット）を決定する。これらの異なるセットはそれぞれのプリミティブの数を有し、プリミティブの数は、機械的アセンブリの部品の数よりも多くても少なくてもよい。したがって、所与のセットのプリミティブと機械的アセンブリの部品との間には、全射が存在しないことがある。たとえば、所与のセットについて、１つのプリミティブは単一の部品に、又はいくつかの部品に対応してもよい。逆に、依然として所与のセットを考慮すると、機械的アセンブリの一部は所与のセットの単一のプリミティブに、又は所与のセットのいくつかのプリミティブに対応してもよい。

機械的アセンブリは、いわゆる機械的「部品」のアセンブリである。機械的アセンブリは別個の構成要素を形成し、（例えば、固定具、圧入、スナップ留め、又はんだ付けによって）機械的に一緒に組み立てられる別個のピース（すなわち、部品）からなる。本方法は他のセグメントに対するその類似性を最小化しながら、各セグメントの内部整合性を最大化することができる。したがって、各セグメンテーションは機械的アセンブリに対してコヒーレントであり、すなわち、機械的アセンブリ内の部品／構成要素の位置決め／組み立てに対してコヒーレントである。例えば、各セグメンテーションは以下の条件のうちの１つが、機械的アセンブリの各所与の部分によって満たされるようにすることができる：（ｉ）１つ又は複数のセグメントが所与の部分に適合する（すなわち、部品に実質的に一致する）、又は（ｉｉ）１つのセグメントが所与の部品を含む部品のグループに適合する。セグメンテーションはさらに、アセンブリが備える部品の種類（例えば、本体部品、ねじ、又は脚）に関してコヒーレントであってもよい。機械的アセンブリはアセンブリライン上に構成要素（すなわち、機械的アセンブリの部品）をまとめるプロセスに基づいて製造されてもよい。セグメンテーションの境界（すなわち、異なるセグメント間）及び機械的アセンブリの境界（すなわち、異なる部分間）は共通である。

３Ｄモデリングされたオブジェクトのセグメンテーションは３Ｄモデリングされたオブジェクトが表す機械的アセンブリの改善された理解及び知識を提供し、多くの製造ＣＡＤ用途（すなわち、設計及び／又は製造工程内）においてさらに有用であってもよい。
第１のアプリケーションでは、セグメンテーションが３Ｄモデル化オブジェクトの操作又は設計のために使用されてもよい。実際に、セグメンテーションは、３Ｄモデル化オブジェクトのセグメントを全体として修正及び／又は移動するために使用されてもよい。さらに、プリミティブは、パラメータ化され、したがって、単にプリミティブパラメータ値を変更することによって、ＣＡＤツールで編集可能にされる。「パラメータ化された」とは、プリミティブがパラメトリック方程式又はパラメトリック関数によって表され、したがって、１つ又は複数のパラメータを含み、１つ又は複数のパラメータがそれぞれの連続範囲内の値をとり得ることを意味する。３Ｄパラメータ化された幾何学的オブジェクトは離散表現（例えば、点群、メッシュ、デクセル表現）のようなパラメータ化されていない３Ｄ幾何学的オブジェクトとは対照的に、メモリにおける容易な操作及び／又は編集可能性及び／又は効率的な記憶を可能にする。したがって、第１のアプリケーションは、ユーザ対話によって１つ又は複数のプリミティブのパラメータを編集することと、そのようなエディションを３Ｄモデル化オブジェクトのそれぞれのセグメントに自動的に反映することとを含むことができる。

代替的又は追加的に、第１のアプリケーションは、異なる３Ｄモデル化オブジェクト内の同一のセグメント及び／又は同じオブジェクト内の同じセグメントのいくつかの発生を識別することを含んでもよい。次いで、第１のアプリケーションはメモリ内の同一のセグメントを複製する代わりに、同一のセグメントの各々について（及び／又はいくつかのオカレンスの各々について）単一のセグメントをメモリ内に記憶し、同一のセグメント（及び／又はいくつかのオカレンス）への参照を追加すること、言い換えれば、メモリ内の単一のオブジェクトのインスタンスを呼び出すことによって、データを再編成することを備えてもよい。データのこの再編成は効率的なメモリ記憶を得るために、セグメンテーションの後に実行されてもよい。

第２のアプリケーションでは、セグメンテーションがデータベースから３Ｄモデル化オブジェクトに部品をインポートするために使用されてもよい。例えば、第２のアプリケーションは、１つ又は複数のセグメントをデータベースからの１つ又は複数の部品とマッチングさせることと、３Ｄモデル化オブジェクトにおいて、１つ又は複数のセグメントを、１つ又は複数のセグメントにマッチングするデータベースからインポートされた１つ又は複数の部品と置き換えることとを備えてもよい。データベースからインポートされる１つ又は複数の部品は追加の情報（例えば、パラメトリック表現、名前、材料のタイプ、又は特定の製造プロセス）を含むことができる。したがって、データベースからの部品のインポートは、３Ｄモデル化オブジェクトを強化することを可能にする。

第３のアプリケーションでは、セグメンテーションが部品のライブラリを構築するために使用されてもよい。部品のライブラリは、他の機械的アセンブリにおける部品の再使用目的のために参照されてもよい。例えば、第３のアプリケーションは３Ｄモデル化オブジェクトのセグメントを部品のライブラリに追加することと、別の機械的アセンブリの設計中に、別の機械的アセンブリ内の追加されたセグメントのうちの１つ又は複数を再使用することとを含んでもよい。

本方法の第４のアプリケーションでは、本方法によってもたらされる１つ又は複数のセグメント化が再メッシュ化（すなわち、提供された３Ｄモデル化オブジェクトが３Ｄメッシュである場合）又は再サンプリング（すなわち、提供された３Ｄモデル化オブジェクトが３Ｄ点群である場合）のために使用されてもよい。この再メッシュ化／再サンプリングを使用して、３Ｄモデル化オブジェクトをノイズ除去（例えば、特に３Ｄ点群のための外れ点の除去、又は特に３Ｄメッシュのための３Ｄモデル化オブジェクトの外面の平滑化）することができる。追加的又は代替的に、３Ｄメッシュを、機械的アセンブリを表すいくつかの３Ｄメッシュに効率的に分割するために、すなわち、それぞれが機械的アセンブリのそれぞれの部分に対応する複数の３Ｄメッシュを取得するために使用されてもよい。提供される３Ｄモデル化オブジェクトが３Ｄ点群である場合、メカニカルアセンブリに対して３Ｄ点群を分割するために使用されてもよい。この際、この方法は、点群の各点部分に属するかを定義するために使用することができる。

本方法の第５のアプリケーションでは、本方法によってもたらされるセグメンテーションが３Ｄモデル化オブジェクトの異常（例えば、製造異常）を検出するために使用されてもよい。このアプリケーションは、機械的アセンブリが有するべき特性の利用可能な知識を、方法によって出力されたセグメンテーションのセグメントと比較することを含んでもよく、それによって、機械的アセンブリにおける欠陥又は異常に関する情報をもたらす。例えば、利用可能な知識は、「所与の機械的アセンブリが６つの機械的部品を有するべきである」又は「通常の部品がいかなる小さい面部分も有するべきではない」などの情報を含んでもよい。機械的アセンブリを表す３Ｄモデル化オブジェクトが６つの機械的部品に対応しないいくつかのセグメントにセグメント化される場合、又はいくつかのセグメントが小さい面部分を表す場合（たとえば、１つのプリミティブが小さい面部分を表すパラメータを有する場合）、本方法は所与のアセンブリ特徴が異常（すなわち、製造欠陥）を特徴付けるように、３Ｄモデル化オブジェクトが異常を特徴付けることを控除することを含んでもよい。

代替的又は追加的に、セグメンテーションは将来の製造のための特定の基準、例えば、３Ｄ印刷のための各セグメントの最大サイズが尊重されることを検証するために、第５のアプリケーションにおいて使用されてもよい。第５のアプリケーションは、セグメンテーションがオブジェクトを、製造を担当する機械と互換性のある最大サイズのセグメントにセグメント化することを検証することを含んでもよい。

第６のアプリケーションでは、セグメント化がデータセットに（セグメント化されたオブジェクトに）自動的に注釈を付けるために使用されてもよい。次いで、注釈付きデータセットはたとえば、学習タスク（たとえば、弁別的又は生成的）のために使用されてもよい。

この方法によって出力されるセグメンテーションは３Ｄ形状セグメンテーションの他のアプリケーション、例えば、３Ｄ変形、３Ｄレンダリング（幾何学的／材料特性計算、オクルージョンカリング、シャドウ決定）、３Ｄ動画及び／又は形状コンプレッションにおいて使用されてもよい。例えば、この方法は、３Ｄシーン内のオブジェクトを検出するために使用することができる。３Ｄ形状のセグメンテーションは例えば、セグメントに基づいて、３Ｄ形状のＣＡＤツリーを生成するための第１のステップであってもよい。

引き続き図１のフローチャートを参照して、３Ｄモデル化オブジェクトを提供するステップＳ１０について説明する。３Ｄモデル化オブジェクトを提供するステップＳ１０に関する議論に先立って、その中に含まれるデータストラクチャがここで議論される。

本方法は３Ｄモデル化オブジェクトをセグメント化するためのものであり、その結果、本方法は一般に、モデル化オブジェクトを操作する。モデル化オブジェクトは、例えばデータベースに格納されたデータによって定義される任意のオブジェクトである。拡張により、表現「モデル化オブジェクト」は、データ自体を指定する。システムのタイプに応じて、モデル化された被写体は、異なる種類のデータによって定義されてもよい。システムは、実際にはＣＡＤシステム、ＣＡＥシステム、ＣＡＭシステム、ＰＤＭシステム、及び／又はＰＬＭシステムの任意の組み合わせであってもよい。これらの異なるシステムでは、モデル化されたオブジェクトが対応するデータによって定義される。したがって、ＣＡＤオブジェクト、ＰＬＭオブジェクト、ＰＤＭオブジェクト、ＣＡＥオブジェクト、ＣＡＭオブジェクト、ＣＡＤデータ、ＰＬＭデータ、ＰＤＭデータ、ＣＡＭデータ、ＣＡＥデータについて言うことができる。しかしながら、モデル化オブジェクトはこれらのシステムの任意の組み合わせに対応するデータによって定義されてもよいので、これらのシステムは他のシステムのうちの１つを排他的にするものではない。

３Ｄモデル化オブジェクトは、機械的アセンブリを表す。「３Ｄモデリングされたオブジェクト」とは、その３Ｄ表現を可能にするデータによってモデリングされる任意のオブジェクトを意味する。３Ｄ表現は全ての視点から（例えば、様々な角度及び／又は距離から）機械的アセンブリを見ることを可能にする。例えば、３Ｄモデル化オブジェクトは３Ｄ表現されたとき、処理され、その軸のいずれかの周りに、又は表現が表示される画面内の任意の軸の周りに回転されてもよい。これは、例えば、機械的アセンブリの異なる部品を検査することを可能にする。これは特に、３Ｄモデル化されていない２Ｄアイコンを除外する。３Ｄ表現の表示は設計を容易にする（すなわち、設計者が統計的にそのタスクを達成する速度を増加させる）。これは、製品の設計が製造工程の一部であるため、産業界における製造工程を高速化する。

３Ｄモデル化オブジェクトは例えば、ＣＡＤソフトウェアソリューション又はＣＡＤシステムを用いた仮想デザインの完了後に現実世界で製造される製品（すなわち、機械的アセンブリ）のジオメトリーを表す。３Ｄモデル化オブジェクトは機械的アセンブリを表し、したがって、複数の部品を含む。機械的アセンブリの製造は、機械的アセンブリの部品をアセンブリライン上に集めることからなるプロセスを含むことができる。ＣＡＤソフトウェアソリューションは、航空宇宙、建築、建築、消費財、ハイテク装置、産業機器、輸送、海洋、及び／又は沖合の石油／ガスの生産又は輸送を含む、さまざまな無制限の産業分野における製品の設計を可能にする。３Ｄモデル化オブジェクトはしたがって、陸上車両又は陸上車両の一部（例えば、自動車及び軽トラック機器、レーシングカー、オートバイ、トラック及びモータ機器、トラック及びバス、列車を含む）、航空車両又は航空車両の一部（例えば、機体機器、航空宇宙機器、推進機器、防衛製品、航空機機器、航空機機器、宇宙機器）、海軍車両又は海軍車両の一部（例えば、海軍機器、商用船舶、海洋機器、ヨット及び作業船、海洋機器を含む）、一般的な機械的アセンブリ（例えば、産業製造機械、重機移動機械又は機器、設置機器、産業機器製品、加工金属製品、タイヤ製造製品を含む）、電気機械又は電子アセンブリ（例えば、家電、セキュリティ及び／又は制御及び／又は計装製品、コンピューティング及び通信を含む）などの任意の機械的アセンブリであってもよい産業製品（例えば、家具、家庭及び庭用品、レジャー用品、ファッション製品、ハードグッズ小売業者の製品、ソフトグッズ小売業者の製品を含む）、消費財（例えば、家具、家庭及び庭用品、レジャー用品、ファッション製品、ハードグッズ小売業者の製品、ソフトグッズ小売業者の製品）、包装（例えば、食品及び飲料及びタバコ、美容及びパーソナルケア、家庭用製品包装）を表してもよい。

提供される３Ｄモデル化オブジェクトは、機械的アセンブリの離散的な幾何学的表現を形成することができる。離散的な幾何学的表現は、本明細書ではデータの離散的なセットを含むデータ構造である。データの各断片は、３Ｄ空間に配置されたそれぞれの幾何学的実体を表す。各幾何学的エンティティは機械的アセンブリ内のそれぞれの位置（言い換えれば、３Ｄモデル化オブジェクトによって表される立体を構成する材料のそれぞれの部分）を表す。幾何学的エンティティの集合（すなわち、結合又は並置）は、全体として機械的アセンブリを表す。本明細書における離散的な幾何学的表現は例では１００、１０００、又は１００００よりも多い、いくつかのそのようなデータを含むことができる。

離散的な幾何学的表現は、例えば３Ｄ点群であってもよく、各々の幾何学的エンティティは点である。離散的な幾何学的表現は代替的に、３Ｄメッシュであってもよく、各幾何学的エンティティは、メッシュタイル又は面である。３Ｄメッシュは規則的であっても不規則であってもよい（すなわち、同じタイプの面からなるか、又は、同じタイプの面から構成されない）。３Ｄメッシュは、多角形メッシュ、例えば三角形メッシュであってもよい。３Ｄメッシュは例えば、３Ｄ点群を三角測量することによって（例えば、ドロネー三角測量によって）、３Ｄ点群から取得されてもよい。本明細書の３Ｄ点群は、例えば３Ｄ再構成処理内の機械部品上の物理的測定値から決定されてもよい。３Ｄ再構成プロセスは機械的アセンブリを提供することと、それぞれの物理的信号を取得するように各々構成された１つ又は複数の物理センサーを提供することと、機械的アセンブリの各部分上の１つ又は複数の物理センサーを動作させることによって（すなわち、アセンブリの各部分を各センサーで走査することによって）、１つ又は複数のそれぞれの物理的信号を取得することとを含んでもよい。次いで、３Ｄ再構成は、任意の既知の技法に従って、測定値に基づいて３Ｄ点群及び／又は３Ｄメッシュを自動的に決定することができる。１つ又は複数のセンサーは複数の（たとえば、ＲＧＢ、及び／又は画像又はビデオ）カメラを備え得、決定は、動きからの構造解析を備えてもよい。１つ又は複数のセンサーは代替的に又は追加的に、（たとえば、ＲＧＢ深度カメラ上の）１つ又は複数の深度センサーを備え得、決定は、深度データからの３Ｄ再構成を備えてもよい。１つ又は複数の深度センサーは例えば、レーザ（例えば、ライダー）又は超音波エミッタレシーバを備えてもよい。

３Ｄモデル化されたオブジェクトを提供するステップＳ１０は、３Ｄモデル化されたオブジェクトを、例えば（例えば、リモートの）データベース又はメモリから検索することを含むことができ、ここで、３Ｄモデル化されたオブジェクトは（例えば、前述したように、再構成処理を通じて）その作成又は取得又はオブジェクトへさらに格納されている。例えば、検索するステップは、データベース又はメモリにアクセスし、３Ｄモデル化オブジェクトをダウンロードすることを含むことができる。代替的に、３Ｄモデル化オブジェクトを提供するステップは、機械的アセンブリ上で物理的測定を実行することと、例えば、先に論じたような３Ｄ再構成プロセスを通して、物理的測定から３Ｄモデル化オブジェクトを決定することとを含んでもよい。３Ｄモデル化オブジェクトの提供は代替的に、例えば、ユーザによって、３Ｄモデル化オブジェクトを、例えば、スケッチすることによって作成することを含んでもよい。

さらに図１のフローチャートを参照すると、３Ｄモデル化オブジェクトを提供するステップＳ１０に加えて、この方法は、抽象化ニューラルネットワークによって実行される第１のセグメンテーションステップＳ２０を含む。抽象化ニューラルネットワークは３Ｄモデル化オブジェクトの表現を入力として受け取り、プリミティブの第１のセットを出力する任意のニューラルネットワークである。ニューラルネットワークは、３Ｄモデル化オブジェクトの初期表現をプリミティブのセットに抽象化する能力に関連して、「抽象化」ニューラルネットワークと呼ばれる。プリミティブの第１のセットは３Ｄモデル化オブジェクトの入力表現に適合するプリミティブのセットであり、プリミティブのセットは、３Ｄモデル化オブジェクトの空間分布を再現する空間分布を定義することを意味する。第１のプリミティブの各々は３Ｄモデル化オブジェクトのそれぞれの部分、すなわち、機械的アセンブリのそれぞれの部分を表す。

第１のセットは第１の数の第１のプリミティブからなり、第１の数は予め決定されてもよい（すなわち、抽象化ニューラルネットワークの入力のどちらでも同じ値）。例えば、第１の数は機械的アセンブリの部品の数よりも多い、例えば、部品の数の２倍よりも多い、又は３倍であってもよい。これは、３Ｄモデル化オブジェクトの第１の微細なセグメンテーション（オーバーセグメンテーション）を達成することを可能にする。例では、第１の数がデフォルト値、たとえば、３２、又はユーザによって選択された値であってもよい。例えば、ユーザは所定の組の機械的アセンブリをセグメント化することを望んでもよく、第１の数は所定の組のすべての機械的アセンブリが第１の組のプリミティブによって十分に正確に表されてもよいように十分に大きい選択されてもよい。方法は出力されたプリミティブの第１のセットを、例えば、メモリに記憶することができる。

抽象化ニューラルネットワークは、３Ｄオブジェクトのデータセット（例えば、メッシュ又は点群）上で学習されて、３Ｄモデル化物体の入力表現に適合する基本要素のセットを出力するニューラルネットワークである。学習中、抽象化ニューラルネットワークは、プリミティブのセットの形態で所与の形状表現のプリミティブ抽象化を推論することを学習する。

本方法はプリミティブのセット（すなわち、それぞれ、第１、第２、第３、又は第４のプリミティブの第１、第２、第３、又は第４のセット）を操作する。プリミティブは有限数のパラメータ、例えば、１００又は５０又は１５未満のパラメータから完全に決定される幾何学的形状である。各パラメータは整数値又は実数値（例えば、浮動小数点によって数値的に表される）とすることができる。本方法において考慮される各プリミティブは、機械的アセンブリの材料の一部を画定する。この区切りは、プリミティブを構成する幾何学的形状である。したがって、決定されたプリミティブの各々は、機械的アセンブリの材料のそれぞれの部分を表す。したがって、プリミティブを決定するステップは、プリミティブのそれぞれのパラメータを決定することを意味する。プリミティブパラメータは、プリミティブのサイズを表すパラメータ（サイズパラメータ）と、プリミティブの位置決めを表すパラメータ（プリミティブ位置決めパラメータ）と、プリミティブの配向を表すパラメータ（プリミティブ配向パラメータ）とを備えてもよい。プリミティブパラメータは、プリミティブの形状を表すパラメータ（プリミティブ形状パラメータ）を含むこともできる。例では、プリミティブが１つ又は複数の直方体を備えてもよい。代替的に又は追加的に、プリミティブは、１つ又は複数の超楕円体を含むことができる。

さらに図１のフローチャートを参照すると、第１のセグメンテーションステップＳ２０に加えて、方法は第１のセットから、それぞれの第２のプリミティブの１つ又は複数の第２のセットをそれぞれ決定するステップＳ３０を含む。各第２のセットは、それぞれの第２の数のそれぞれの第２のプリミティブからなる。各第２のセット（すなわち、各第２の数）のプリミティブの数は、第１の数よりも少ない。実際、第２のセットは、各反復において、プリミティブの１つ又は複数の部分集合をマージする反復プロセスに基づいて計算される。各第２のセットは、それぞれの数のプリミティブを有する。例えば、各第２のセットは、それ自体の数のプリミティブ、すなわちその他第２のセットのプリミティブとは異なるプリミティブを有することができる。

ここで、反復プロセスをより詳細に説明する。決定ステップＳ３０は、第３のプリミティブの第３の集合を第１の集合として初期化することを含む。第３のセットは、反復プロセスを実行するために方法によって使用される。特に、第３の設定は最初に各反復において（すなわち、開始するために）、前の反復において得られた設定を考慮するために使用される。第３の集合を初期化するために、方法は、第１の集合がメモリに記憶されている位置を指し示すことができる。あるいは、方法が第１のセットを第３のセット専用のメモリ位置にコピーすることができる。

初期化の後、決定ステップＳ３０は１つ又は複数の反復を実行することを含み、各反復は、それぞれの第４のセットを取得することを可能にする。各反復は、第３のプリミティブの第３のセットを提供することを含む。第１の反復について、提供される第３のセットは初期化された第３のセットであり、各後続の反復について、第３のセットは、前の反復で得られた第４のセットである。各反復は、第３のプリミティブの１つ又は複数の部分集合をそれぞれ１つの単一の第４のプリミティブに一緒にマージすることをさらに含む。マージはプリミティブのサブセットを単一の一意のプリミティブ（すなわち、単一の第４のプリミティブ）に置き換える演算である。この一意のプリミティブは、この一意のプリミティブがサブセットのプリミティブに適合することを意味する、サブセットのプリミティブの結合から生じる。したがって、マージは幾何学的情報の誘導損失を最小限に抑えながら、プリミティブの件数を減らすことを可能にする。マージはプリミティブの所与の部分集合について、幾何学的情報のこの損失を最良に最小化する単一のプリミティブ（すなわち、プリミティブの部分集合に適合する単一のプリミティブ）を計算することができる。したがって、マージはプリミティブの部分集合を入力として取り、プリミティブの部分集合を表す単一のプリミティブを出力することができる。代替として、マージは、いくつかのプリミティブを出力してもよい。マージはプリミティブのいくつかの部分集合を計算し得、各部分集合について、それぞれの単一のプリミティブを計算してもよい（すなわち、マージは、プリミティブの各入力された部分集合について１つの単一のプリミティブを出力してもよい）。マージの計算は並列化することができる（例えば、各部分集合について１つの計算）。あるいは、各部分集合のマージの計算が連続的に実行されてもよい。

第４のセットは各単一の第４のプリミティブ（すなわち、マージされたサブセットごとに１つの第４のプリミティブ）と、各マージされていない第３のプリミティブ（すなわち、１つ又は複数のサブセットに含まれない第３のプリミティブ）とからなる。したがって、第４のセットは、各マージされたサブセットのプリミティブが単一のプリミティブに置き換えられるまで、第３のセットに相当する。各反復は現在の反復の第４のセットとして次の反復の第３のセットを設定する（すなわち、固定する／決定する）ことをさらに含む。言い換えれば、所与の反復の第４のセットは、後続の反復の第３のセットになる。本方法は例えば、メモリ内で、マージされた各部分集合のプリミティブパラメータを、計算された単一の第４のプリミティブのパラメータと置き換えることができる。したがって、各反復において、第３のセットのメモリサイズが減少し、第３のセットのプリミティブの数が減少する。

１回以上の反復の後、決定ステップＳ３０は１つ以上の第２のセットを１つ以上の取得された第４のセットとして設定（すなわち、固定／決定）することを含む。言い換えれば、１つ又は複数の第２のセットは、反復を通して得られる１つ又は複数の第４のセットであると決定される。方法は例えば、１つ又は複数の取得された第４のセットをメモリに記憶し、１つ又は複数の第２のセットを、取得された第４のセットのうちの１つ又は複数のメモリ内の位置を指すことによって設定することができる。代替的に、方法は、取得された第４のセットのうちの１つ又は複数をコピーしてもよい。例では、決定ステップＳ３０が１回の反復を実行することができる。この場合、単一の第４のセットが得られ、第２のセットは得られた単一の第４のセットである。別の例では、方法が２回の反復を実行し、それによって、２つの第４のセットを取得することができる。この場合、方法は第２のセットを２つの取得された第４のセットのうちの１つとして設定することができ、あるいは、２つの第２のセットを２つの取得された第４のセットとして設定することができる。別の例では、方法が３回の反復を実行することができ、方法は１つ、２つ、又は３つの第２のセットを、それぞれ、取得された３つの第４のセットのうちのいずれか１つ、取得された第４のセットのうちのいずれか２つ（たとえば、最初及び最後に取得された第４のセット）、又は取得された第４のセットのうちの３つとして設定することが。本方法は任意の等しいｎの反復を実行し、任意の等しいｍの第２のセットを設定することができ、等しいｍは、反復の等しいｎ以下であることが理解される。例えば、この方法は例えば、２つの連続する反復のうちの１つの反復の後に連続して得られる４つのセットを選択することによって、又は３つの連続する反復のうちの１つの反復のために、又は連続する反復の数ｉのうちの１つの反復のために、第４のセットの数よりも実質的に２倍低い数の第２のセットを設定することができる（ｉは正の整数である）。

各反復において、第３のプリミティブの１つ又は複数の部分集合は、各々が１つのそれぞれの単一の第４のプリミティブに一緒にマージされる。プリミティブの部分集合をマージする手段に、部分集合のプリミティブを１つのプリミティブにまとめる、すなわち、部分集合のプリミティブを表す（すなわち、部分集合のプリミティブのマージである）単一のプリミティブを形成する。単一プリミティブは部分集合に適合する、すなわち、部分集合のプリミティブの和集合が表す空間分布を表す。各反復において、第３のプリミティブの１つ又は複数の部分集合をマージするステップは、各反復において、得られた第４のセットのプリミティブの数が与えられた第３のセットのプリミティブの数よりも少ないことを意味する。その結果、得られた第４の組のプリミティブの数は、各反復において連続的に低減される。したがって、（１つ又は複数の取得された第４のセットとして設定される）１つ又は複数の第２のセットはプリミティブの数が減少する（又は代替的に、増加する）ことによって順序付けられ得、各第２のセットは、それ自体の別個の数のプリミティブを有する。したがって、本方法は３Ｄモデル化オブジェクトの１つ又は複数のセグメンテーションを効率的に、かつロバストな方法で提供することを可能にし、提供されるセグメンテーションの各々は、他のセグメンテーションよりも細かいか又は粗い。

マージするステップは、候補部分集合のグループ間でマージされるべき１つ又は複数の部分集合を決定することを備えてもよい。候補サブセットは、ｎ個の素子の順序付けられていないセットである（ここでは素子は第３のプリミティブである）。各候補サブセットはたとえば、２つの第３のプリミティブ（第３のプリミティブのペア）又は３つの第３のプリミティブを備えてもよい。グループの候補サブセットは、異なる数のプリミティブを有してもよい。いくつかの候補部分集合は２つの第３のプリミティブを備え得、いくつかの他の候補部分集合は第３のプリミティブのうちの２つよりも大きい数を備えてもよい。代替的に、グループの各候補サブセットは同じ数のプリミティブ（たとえば、２つ又は３つの第３のプリミティブ）を有してもよい。この場合、マージされる１つ又は複数の部分集合も同じ数のプリミティブを有する。各第３のプリミティブは、候補サブセットに含まれ得る。各候補サブセットは、２つ以上の第３のプリミティブを含む。したがって、第３のプリミティブの一部は、グループの候補サブセットのうちの１つに含まれ得る。代替として、第３のプリミティブの各々は、グループの１つ又は複数のそれぞれの候補サブセットに含まれ得る。例えば、各第３のプリミティブは、グループの正確に１つの候補サブセットに含まれ得る。この場合、候補サブセットのグループは、第３のプリミティブのパーティションを形成する。候補部分集合のグループは、候補部分集合の結合が第３のセットに等しく、候補部分集合が２つずつ互いに素である場合、第３のプリミティブの第３のセットの区分である。

マージされるべき１つ又は複数のサブセットの前記決定はグループのそれぞれの候補サブセットごとに、それぞれの候補サブセットのマージコストのペナルティを含んでもよい。マージされるべき１つ又は複数の部分集合は、最も低いマージコストを有する１つ又は複数の候補部分集合であってもよい。マージされるべき１つ又は複数の部分集合は、しきい値よりも低いマージコストを有する１つ又は複数の候補部分集合であってもよい。代替的に、マージされるべき１つ又は複数の部分集合は、ｎ個の候補部分集合が与えられると、候補部分集合の中で最も低いマージコストを有するｎ個の候補部分集合であってもよい。この場合、方法は例えば、候補部分集合の各々についてマージコストを計算することと、マージコストを増加させることによって候補部分集合を順序付けることと、最も低いマージコストを有するｎ個の１つ又は複数の部分集合を選択することによってマージされるべき１つ又は複数の部分集合を決定することとを含むアルゴリズムを実行することができる。他のアルゴリズム、特に、候補部分集合の各々についてマージコストを計算することなくマージコストを最小化する１つ又は複数の部分集合を決定することを可能にするアルゴリズムを使用して、１つ又は複数の部分集合を決定することができる。マージコストは２つ以上のプリミティブをマージするためのコスト、すなわち、これら２つ以上のプリミティブをまとめるための努力を修飾する量である。プリミティブの部分集合をマージするステップは、部分集合のプリミティブ（すなわち、部分集合のプリミティブの和集合の空間分布）を表す単一のプリミティブを形成することであってもよい。したがって、損失は、単一のプリミティブが表す空間分布と、サブセットのプリミティブの結合の空間分布との間の差分又は誤差の範囲に対応してもよい。差が大きいほど、マージコストは高くなってもよい。したがって、サブセットのマージコストは、サブセットのプリミティブがマージされるときのジオメトリー情報の損失を定量化することができる。これは、３Ｄモデル化オブジェクトの正確な１つ以上のセグメント化を達成することを可能にする。

マージするステップは、第３のセットのパーティション間の候補サブセットのグループを、それぞれ第３のプリミティブのペアに決定することを備えてもよい。この場合、部分集合は、第３のプリミティブの別個のペアである。したがって、各パーティションは、第３のプリミティブの対の間のエッジ集合と見なされてもよい。候補サブセットのグループの決定は、最小重みマッチングアルゴリズムを含んでもよい。実数又は整数のエッジ重み（又はコスト）が与えられると、最小重みマッチングアルゴリズムはその関連するエッジ重みの合計を最小化するマッチング（すなわち、パーティション）を計算することを含む。したがって、最小重みマッチングは、エッジ重みの合計を最小化する区分を決定することを可能にする。所与のエッジ（又はペア）の重みは、たとえば、所与のペアの第３のプリミティブ間の距離に基づいてもよい。したがって、決定されたパーティションは、ペア間の距離を最小化するパーティションであってもよい。距離は例えば、各対の２つのプリミティブ間、例えば、それらの外面間、又はそれらの中心間の幾何学的距離であってもよい。

したがって、最小重みマッチングアルゴリズムは候補パーティション間で最小化するパーティションを選択し、各候補グループのすべての部分集合について、各部分集合の第３のプリミティブ間の各距離をグローバルペナルティ化する。他のアルゴリズムを使用して、グローバルペナルティ化を最小化する候補パーティションの中からパーティションを選択することができる。本方法は、第３の組の各対への分割に限定されない。本方法は、第３のセットのパーティションを、３つの第３のプリミティブのサブセット、又は任意の数ｎの第３のプリミティブのサブセットにそれぞれ検討することができる。考慮されるパーティションに応じて、特定のアルゴリズムを使用することができる。

より一般的には、本方法が第３のプリミティブのサブセットの任意のグループを考慮することができる。したがって、マージは、サブセットの候補グループの中から候補サブセットのグループを決定することを備えてもよい。候補部分集合のグループの前記決定はそれぞれの候補グループごとに、それぞれの候補グループのすべての部分集合について、マージ互換性のグローバルペナルティを含んでもよい。マージ互換性は、マージの適合性を修飾する任意の量であってもよい。マージ互換性は、幾何学的距離などの距離であってもよい。マージ相溶性は、特に超楕円体の場合、主軸間の差であってもよい。

抽象化ニューラルネットワークは、エンコーダーを備えてもよい。エンコーダーは、入力された３Ｄモデル化オブジェクトを符号に変換する構成要素である。したがって、エンコーダーは、入力された３Ｄモデル化オブジェクトの形式に依存してもよい。選択的に、エンコーダーは、畳み込みニューラルネットワークを含むことができる。これに加えて、又はこれに代えて、エンコーダーは、入力としてボクセルグリッドを取るように構成されてもよい。抽象化ニューラルネットワークに入力される３Ｄモデル化オブジェクトの表現は、ボクセルグリッドフォーマットに従ってもよい。

抽象化ニューラルネットワークはまた、プリミティブサイズパラメータ、プリミティブ測位パラメータ、及びプリミティブ方位パラメータをそれぞれ出力するように構成された３つのサブネットワークを備えてもよい。任意選択で、抽象化ニューラルネットワークは、プリミティブ形状パラメータを出力するように構成された１つの追加のサブネットワークをさらに備えることができる。任意選択で、少なくとも１つのサブネットワークは、それぞれ完全に接続された層から構成されてもよい。例えば、各サブネットワークは、それぞれの完全に接続された層から構成されてもよい。それぞれの完全に接続された層は、第１の数及びそれぞれの出力パラメータの数に応じて出力サイズを有することができる。追加又は代替として、第１の数（すなわち、第１のセットのプリミティブの数）は、ハイパーパラメータであってもよい。

１つ以上の第２のセットは複数の第２のセット、例えば、２つ以上の第２のセットを含んでもよい。この場合、本方法は、各々を含む１つ以上の相互作用をさらに含むことができる：
ユーザインタラクションの際に、複数の第２のセットのうちの単一の第２のセットを選択するステップ、及び
選択された第２のセットのグラフィック表現をリアルタイムで表示するステップ。

１つ又は複数のインタラクションは、方法によって実行されるユーザインタラクションツールを介して実行されてもよい。本方法は例えば、１つの相互作用を含むことができる。選択は、スライドバーに基づいて実行されてもよい。スライドバー（又はトラックバー）は、ユーザがインジケータを例えば水平に動かすことによって値を設定することができるグラフィカル制御要素である。ユーザが設定してもよい値は、第２のセットの各々に対応してもよい。したがって、値を設定することによって、ユーザは、第２のセットのうちの１つを選択することができる。したがって、ユーザは、インジケータを移動させることによって値を設定することができる。あるいは、ユーザがスライドバー上のポイントを直接クリックして、値を設定してもよい。選択された第２のセットのグラフィック表現はスライドバーの近く、例えば、スライドバーの上に表示されてもよい。各連続する対話において、前の対話において表示されたグラフィック表現は、新しいグラフィック表現によって置き換えられてもよい。したがって、ユーザは、第２のセット間をナビゲートすることができる。例えば、ユーザは、第４のセットの各々の間をナビゲートすることができる。

本方法は、単一の第４のセットを自動的に選択することをさらに含むことができる。選択された単一の第４の組は、連続する反復間のマージ再構成損失の発展がしきい値よりも高いことに対応してもよい。本方法は、選択された単一の第４の組をマーキングすることをさらに含むことができる。第１のオプションでは、１つ又は複数の第２のセットが単一のマークされた選択された第４のセットであってもよい。言い換えれば、単一のマークされた選択された第４のセットで１つの第２のセットのみが存在する。第２のオプションではいくつかの第２のセットがあり、単一のマークされた選択された第４のセットは第２のセットのうちの１つ。この第２のオプションでは、ユーザがスライドバーを介して第２のセット間をナビゲートすることができ、単一のマークされた選択された第４のセットに対応するスライドバーの値を強調表示することができる。したがって、この方法は、予測された最適な第２の組を自動的にマークすることができる。

抽象化ニューラルネットワークは、各々がそれぞれの機械的アセンブリを表す注釈付きでない３Ｄモデル化オブジェクトを含むデータセット上で教師なしの方法で学習されてもよい。教師なし学習のために、データセットの３Ｄモデル化された物体は、学習損失のためのネットワークトゥルースとグラウンドトゥルースの両方の入力として使用されるように前処理されてもよい。

マージするステップは、各部分集合の表現をマージングニューラルネットワークに入力することを含んでもよい。マージングニューラルネットワークは、それぞれの単一の第４のプリミティブを出力してもよい。

マージングニューラルネットワークは、エンコーダーを備えてもよい。任意選択的に、エンコーダーは畳み込みニューラルネットワークを含んでもよい。代替的又は追加的に、エンコーダーは、入力としてボクセルグリッド又は点群を取るように構成されてもよい。エンコーダーはまた、入力としてボクセルグリッド及び点群の両方を取るように構成されてもよい。マージングニューラルネットワークは、入力としてボクセルグリッドフォーマットを取ってもよい。これに代えて、又はこれに加えて、マージングニューラルネットワークは、点群形式を取ってもよい。

マージングニューラルネットワークはまた、プリミティブサイズパラメータ、プリミティブ測位パラメータ、及びプリミティブ方位パラメータをそれぞれ出力するように構成された３つのサブネットワークを備えてもよい。任意選択で、マージングニューラルネットワークは、プリミティブ形状パラメータを出力するように構成された１つの追加のサブネットワークを含むこともできる。任意選択で、少なくとも１つのサブネットワークは、それぞれ完全に接続された層から構成されてもよい。例えば、各サブネットワークは、それぞれの完全に接続された層から構成されてもよい。各完全接続層は、各サブネットワークのそれぞれの出力パラメータに応じて出力サイズを有することができる。

抽象化ニューラルネットワーク及びマージングニューラルネットワークのうちの少なくとも１つは、それぞれの学習損失に基づいて学習されてもよい。それぞれの学習損失は、再構成損失にペナルティを課すことができる。抽象化ニューラルネットワーク及びマージングニューラルネットワークの両方はたとえば、それぞれの学習損失に基づいて学習されてもよい。任意選択で、再構成損失は、点群間隔に基づいてもよい。抽象化ニューラルネットワークの学習損失は、重複損失及び領域損失をさらにペナルティとすることができる。代替的に又は追加的に、学習損失は、再構成損失、重複損失、及び領域損失の加重和に等しくてもよい。

次に、この方法の実施について説明する。

いくつかの前提条件が最初に導入される。

ディープニューラルネットワーク（ＤＮＮ）：それらはニューラルネットワークにおける学習のための強力な技術の集合であり、これはコンピュータが観察データから学習することを可能にする生物学的にインスパイアされたプログラミングパラダイムである。画像認識では、ＤＮＮの成功が他の画像分類方法（例えば、ＳＶＭ、ブースティング又はランダムフォレスト）で使用される手で設計された低レベル特徴（例えば、ゼルニケモーメント、ＨＯＧ、Ｂａｇ－ｏｆ－Ｗｏｒｄｓ又はＳＩＦＴ）とは対照的に、リッチな中間レベルメディア表現を学習する能力に起因する。より具体的には、ＤＮＮが生データに基づくエンドツーエンド学習に焦点を当てている。言い換えれば、それらは、未加工の特徴で始まりラベルで終わるエンドツーエンド最適化を達成することによって、特徴量工学から可能な限り最大限に脱却する。

超楕円体：数学では、超楕円体（「超楕円体」とも呼ばれる）が１１個のパラメータのセットによってパラメータ化される立体である。コンピュータグラフィックプリミティブとしての超楕円体は、Alan HBarr（超楕円体とスーパートロイドの両方を指す“超二次関数（superquadrics）”という名前を用いた）によって普及した。しかし、いくつかの超楕円体は超二次関数であるが、どちらのファミリも他方には含まれない。これらのタイプのプリミティブの選択、及びそれらがどのように正確にパラメータ化されるかについては、後で説明する。

プリミティブ：「プリミティブ」という用語は幾何学的な意味で使用され、プリミティブは一パラメータセットによってパラメータ化された幾何学的な立体である。プリミティブの例には、立方体及び超楕円体が含まれる。

プリミティブ抽象化：幾何プリミティブを使用してオブジェクトを組み立てることを指す。

オーバーリファインされたプリミティブ抽象化：プリミティブの数がプリミティブの最適な数よりも多いプリミティブ抽象化を指す。プリミティブの最適な数は、ユーザの入力であってもよい。あるいは、最適なプリミティブ数が自動的に決定されてもよい。

マージ：プリミティブをマージする手段に、プリミティブの元のセットを表す最適な単一のプリミティブを計算し、プリミティブの入力セットをこの単一のプリミティブに置き換える。最適性は、入力プリミティブと出力プリミティブとの間の幾何学的距離によって反映されてもよい。

教師なし学習は人間がラベル付けされたデータを通常利用する教師あり学習とは対照的に、既存のラベルがなく、人間の注釈もないデータセット内の以前に検出されていないパターンを探す機械学習の一種である。

ボクセルグリッド：ボクセルグリッドはピクセルグリッドの３Ｄ等価物であり、それらは、３Ｄ正規グリッドであり、各ボクセルにおいて２つの可能な値、すなわち、フル又は空である。

この方法は、オフライン段階とオンライン段階の２つの段階で分解されるフレームワークを実装することができる。オフライン段階では、本方法が２つのニューラルネットワーク（第１のニューラルネットワーク及び第２のニューラルネットワーク）を独立してトレーニングすることを含む。このオフライン段階は、ユーザにとって透過的である。第１のニューラルネットワーク（「最初の抽象化ネットワーク」とも呼ばれる）は、３Ｄオブジェクトのデータセットについて学習される。第１のニューラルネットワークは、３Ｄオブジェクトとプリミティブのセットとの間の再構成損失を最小化することによって、３Ｄオブジェクトを最も良く表すプリミティブのセットのパラメータを出力することを学習する。結果は、過度に洗練されたプリミティブ抽象化である。第２のニューラルネットワークはデータセット上で学習され、データセットの各インスタンスはプリミティブを記述するパラメータのセットである。第２のニューラルネットワークは、入力として与えられるプリミティブのセットを最も良く表す単一のプリミティブのパラメータを出力することを学習する。

オンライン段階は、３つのステップを含む。第１のステップでは提供された３Ｄオブジェクトが与えられると、この方法は最初の抽象化回路網を使用して、第１のオーバーリファインされた基本抽象化を得る。第２のステップではこの最初の抽象化が与えられると、この方法は抽象化を単純化するために反復アルゴリズムを適用する。このアルゴリズムは、２つの主要なステップから構成される：

マージするプリミティブの最適なセットを選択するステップ、及び
それらをマージする、すなわち、これらのプリミティブを１つの新しいプリミティブに置き換えるステップ。

したがって、この方法はプリミティブ要素の１つ又は複数のセットを計算し、これらのセットの各々は、提供された３Ｄオブジェクトの所与のセグメント化に対応する。

第３のステップでは、マージアルゴリズムが実行されると、方法はユーザが最終抽象化のために所望の数のプリミティブを選択することを可能にし、及び／又は方法が自動的に最適抽象化を決定する。したがって、本方法は、提供された３Ｄモデル化オブジェクトの１つ又は複数のセグメンテーションの中から所与のセグメンテーションを選択又は自動的に決定することを可能にする。

ここで、実装をより詳しく提示する。まず、フレームワークの２つの段階について議論する。次に実装内容を示す。最後に、いくつかの定性的結果を示す。

図２のフローチャートを参照して、本方法が実装してもよいフレームワークの２つの段階を説明する。

上述のように、オフライン段階は、２つの別個のニューラルネットワークを学習するステップを含む（Ｓ５０及びＳ６０）。次に、第１のニューラルネットワーク（「初期抽象化ネットワーク」とも呼ばれる）の学習ステップＳ５０について説明する。最初の抽象化回路網は例えば［１１］のように、３Ｄオブジェクトのデータセット、すなわち３Ｄ形状（例えば、網目又は点群）のセット上で学習される（Ｓ５０）。最初の抽象化ネットワークは、プリミティブパラメータのセットの形成で、所与の形状表現のプリミティブ抽象化を推論することを学習する。この方法は、学習損失（教師なし学習）のためのネットワークトゥルース及びグラウンドトゥルースの両方の入力として使用される３Ｄオブジェクトを前処理するステップを含むことができる。入力はボクセルグリッド（３Ｄ ＣＮＮエンコーダーを使用する）、点群（点群エンコーダー、例えば、ポイントネット［１５］を使用する）、又はメッシュ（例えば、［１３］に記載のエンコーダーを使用する）であってもよい。この実装では、３Ｄボクセルグリッドエンコーダーを最初の抽象化回路網への入力として使用し、点群を再構成損失のグラウンドトゥルースとして使用する。他の実装では、この方法が最初の抽象化回路網への入力と、再構成損失、例えば点群形式のグラウンドトゥルースとに同じ形式を使用することができる。ボクセルグリッドフォーマットは、２つの理由で関連する。第１に、ボクセルグリッドフォーマットは、表面の詳細が必要とされない可能性があるので、十分であってもよい粗い解像度を得ることを可能にする。第２に、ボクセルグリッドは局所的に異なる密度（実際にはボクセルが０又は１などの離散値を有してもよい）を提供する、実際の走査（例えば、ライダー）のノイズを除去することを可能にする。あるいは、この方法が点群をノイズ除去することができる。

次に、第２のニューラルネットワークＳ６０の学習について説明する。第２のニューラルネットワークは、プリミティブのセットのデータセットについて学習される。トレーニングパターンとして、各セットは１つの単一のプリミティブ（すなわち、セットのプリミティブのマージの結果）に関連付けられてもよい。単一のプリミティブは例えば、マージされるべきセットのプリミティブから計算される点群であってもよい。そのような点群は、直接的に計算されてもよく、したがって、データセットに含まれなくてもよい。論じた実装では、この方法が第１の回路網によって推論された抽象化から基本要素を選択することによって、このようなデータセットを合成的に生成する。そのようなデータセットを得るための別の方法は、手続き的な方法で最初から１つを生成することであってもよい。

トレーニングパターンでは、プリミティブの各セットが以下のように前処理されてもよい。第１に、本方法は、プリミティブのパラメータを使用して、これらのプリミティブの表面上をサンプリングすることができる。この方法は、得られた点群を再構成損失のグラウンドトゥルースとして使用することができる。第２のニューラルネットワークの学習のための再構成損失は、第１のニューラルネットワークの再構成損失と異なってもよい。第２のニューラルネットワークへの入力を得るために、この方法はこの点群の凸包を計算し、この凸包上の点を再サンプリングしてもよい。凸包は、点群を囲む最小の凸形である。凸包の特性は、点群の極値点の部分集合が凸包表面に属することである。したがって、極値点の部分集合は非常に疎であり、したがって十分ではない。凸包の点の数は１００よりも多くてもよく、例えば、１０００であってもよく、これは、規則的な形状を得ることを可能にする。凸包を計算し、次いで再サンプリングするステップは、基本要素の組に対する点群を単純に計算することよりも、結果を改善する（すなわち、より良好な結果を与える、より正確である）。最後に、この方法はこの点群をボクセル化する（すなわち、ボクセルグリッドフォーマットで点群を変換する）ことができる。ボクセル化は各方向に所与の数のボクセルを有する解像度、例えば、３２（すなわち、３２ｘ３２ｘ３２の解像度）を有してもよい。各ボクセルはボクセル内の点の存在又は非存在に基づいて、２進値（たとえば、０又は１）を有してもよい。

この前処理（点群、凸包、再サンプリング、ボクセル化を経て順次）は、最適な結果をもたらす。本方法は、この前処理に限定されない。本方法の他の実装は、プリミティブ上でサンプリングされた点を使用して前処理なしでマージするステップ、及び／又はプリミティブの組のパラメータを入力として使用するステップを含んでもよい。追加の利点は、第２のニューラルネットワークが任意の数のプリミティブを一緒にマージすることができることである（したがって、プリミティブのセットのパラメータを入力として使用する場合であっても）。例えば、第２のニューラルネットワークは、２つのプリミティブのサブセット又は３つのプリミティブのサブセットをマージすることができる。

オンライン段階について説明する。前述のように、オンライン段階は、ここでより詳細に説明される３つのステップを含む。

第１のステップは、オンライン段階の初期ステップである初期プリミティブ抽象化ステップＳ２０である。最初のプリミティブ抽象化は例えばユーザによって入力された（網又は点群のいずれかであってもよい）入力を取得し、それをネットワークの入力フォーマット（例えば、ボクセルフォーマット）に変換し、それを最初の抽象化ネットワークに供給することからなる。初期抽象化ネットワークは初期プリミティブ抽象化を出力し、初期プリミティブ抽象化は、プリミティブの第１のセットからなる。より具体的には、初期抽象化ネットワークが第１のセットの各プリミティブを記述するパラメータのセットを出力することができる。初期抽象化ネットワークは固定数のプリミティブを出力するように構成されてもよい（すなわち、第１のセットのプリミティブの数が予め決定されてもよい）。

第２のステップＳ３０は、初期抽象化の簡略化である。この目的のために、本方法は反復マージアルゴリズムを適用し、これは、各反復において、初期抽象化を単純化する。マージアルゴリズムは、より少ないプリミティブを有する抽象化を得るために適用される。この具体的な実装は、プリミティブの個数が反復ごとに１つずつ減少される、マージアルゴリズムのあるバージョンを使用する。マージアルゴリズムの他のバージョンが実装されてもよい。例えば、マージアルゴリズムの他の変形は各反復において、任意の数のプリミティブをマージすることができる（例えば、反復ｓにおいてＮｓ対を最も低いマージコストでマージすることを単に選択することによって、Ｎｓは、反復処理の反復ｓにおいてプリミティブの数に等しいか又はそれよりも少ない）。

図３のフローチャートを参照して、図２の第２のステップＳ３０をより詳細に説明する。前述のように、マージアルゴリズムは２つのメインステップ、すなわち、マージするプリミティブを選択するステップ、及びそれらを一緒にマージするステップを繰り返すことからなる。マージするためのプリミティブの選択は、２つのサブステップを含むことができる。

第１のサブステップでは本方法が抽象化のすべてのプリミティブのマッチングを計算する（すなわち、本方法は可能なマージのペアによってプリミティブをグループ化することができる）。そうするために、方法は、まず、抽象化内のすべてのプリミティブについて、プリミティブのペア間の距離Ｓ３１を計算することができる。説明した実装では、本手法がそれぞれのプリミティブ上の点のセットをサンプリングし、点のセット間の面取り距離を適用して、２つのプリミティブ間の距離を計算する。他の実装では、距離がサンプリングされた点のセットの間の地上移動者の距離、プリミティブ点の中心間のユークリッド距離、又は前述のすべての距離の加重和であってもよい。プリミティブ間距離が計算されると、本方法は問題を最小重みマッチングの１つとして扱い、Ｓ３２で、所望のマッチングを得るためのアルゴリズム、例えば［１２］からのアルゴリズム（Ｂｌｏｓｓｏｍアルゴリズムと呼ばれる）を適用する。最小重みマッチングアルゴリズムは候補パーティション間で最小化するパーティションを選択し、それぞれの候補グループのすべての部分集合に対して、それぞれの部分集合の第３のプリミティブ間の距離のグローバルペナルティ化を行う。

第２のサブステップにおいて、マッチングが行われると、本方法は所望のマッチングの全てのペアのマージ結果を計算し（Ｓ３３）、マージ結果に基づいて各ペアのマージコストを計算し（Ｓ３４）、最小のマージコストを有するペアをマージすることを決定する（Ｓ３５）。プリミティブ要素の所与の対のマージ費用を計算する（Ｓ３４）ために、この方法は第１のニューラルネットワークの再構成損失に使用されるグラウンドトゥルース、すなわち、入力形状上でサンプリングされた点の集合を使用する。次いで、本方法は現在の再構成損失（すなわち、現在のプリミティブの設定を有する再構成損失）と、潜在的な再構成損失との間の差分を計算し、これは、本方法がそれらのマージ（すなわち、単一のプリミティブ）によって考慮されるプリミティブの対を置き換えるときの再構成損失である。この差をマージコストとして使用する。すべてのマージコストを計算するために、本方法はマッチングからすべてのプリミティブペアのマージを推論する（すなわち、すべてのペアについて前記差を計算する）。

方法がどのプリミティブのペアをマージするかを決定する（Ｓ３５）と、方法は、ペアの２つのプリミティブをそれらのマージの結果で置き換え（Ｓ３６）、プロセス全体を反復する。例えば、方法は、ユーザの入力粒度に達するまでプロセスを反復することができる（Ｓ３８）。ユーザ粒度はたとえば、いくつかのプリミティブであってもよい。本方法はまた、Ｓ３７において、アルゴリズムの各反復の結果を保存する、すなわち、全ての中間プリミティブ抽象化を保存する。各反復の結果を保存することにより、１つ又は複数の選択中に中間プリミティブ抽象化をリアルタイムで表示することが可能になる。

さらに、ステップＳ３０において、マージアルゴリズムが行われると、方法はプリミティブ抽象化のリストを有し、各抽象化は、異なる数のプリミティブ（各反復に対して１つの抽象化）を有する。このとき、本方法は得られたプリミティブ抽象化のリストの中で、プリミティブの所定のセットを１つの抽象化として設定する（すなわち、最終抽象化を選択する）。最終的な抽象化のこの選択を実行するために、第１のオプションはユーザが異なる抽象化をレビューし、自分の意図に最も適合するものを選択することを可能にすることである。第２のオプションは、プロセスを自動化することである。これを行うために、この方法は、マージ処理中の再構成損失の発展を監視する。

図４は、この進化の例を示す。この方法は、この再構成損失の発展を使用することによって、最終的な抽象化の選択肢を自動化することができる。ここで、再構成損失の発展に基づいて、最終的な抽象化をどのように選択するかについて例示する。マージ処理における反復回数をｎとする。０＜ｉ＜ｎとする。Ｃｉを第ｉのプリミティブ抽象化の再構成損失の価値とする。本方法はＣｉ＋１－Ｃｉ＞ｋである反復ｉに対応する抽象化を最終抽象化として選択することができ、ここで、ｋは所定のしきい値（例えば、ｋ＝２）である。

最終抽象化が選択されると、方法は、最終抽象化のプリミティブを３Ｄモデル化オブジェクトに投影することを含む。この最終ステップは、形状部分を対応するプリミティブでラベル付けすることからなるラベル付けステップである。対応関係は３Ｄモデル化オブジェクトの各要素（例えば、入力オブジェクトが点群である場合の各点、又は入力オブジェクトが網目である場合の各頂点）に、その最も近いプリミティブの指標を帰属させることによって計算されてもよい。この方法は、メトリックとして、プリミティブ面の近接度を選択することができる。したがって、本方法は、所望のユーザ粒度を有するセグメント化３Ｄモデル化オブジェクトを取得することを可能にする。

ここで、より実装な詳細について説明する。特に、トレーニング中の損失の最小化について論じた。

この実装では、プリミティブ抽象化のためのプリミティブの選択肢として超楕円体を用いた。このタイプのプリミティブは、表現力とパラメータの数との間の良好なトレードオフを提供する。他のタイプのプリミティブ（例えば、立方体又は星形ドメイン）を考慮することができる。超楕円体は、安定な損失を達成することができる。星形ドメインは超楕円体よりもさらに高い柔軟性を可能にし、これは、性能を改善し、抽象化が抽象化（すなわち、表現力）を通してオブジェクトにどれだけ接近するかを改善する。

超楕円体は、１１個のパラメータのセットを使用してパラメータ化することができる。超楕円体は明示的な超二次関数に基づいて定義され、それは以下の方法で表面ベクトルｒを定義する：

ここで、α＝［α１、α２、α３］はサイズパラメータ（正の実数値）を表し、ε＝［ε１，ε２］は、形状パラメータ（それぞれ０と２の間）を表す。

図５は、形状パラメータε１及びε２が超楕円体（［８］）の形状をどのように修正するかを示す。この方程式は原点を中心とし、軸上に整列された超楕円体を生成する。プリミティブパラメータ化は、（３つのパラメータに基づいて）位置を表すための並進ベクトルと、（３つのパラメータにも基づいて）配向を表すためのオイラー角とを用いて完了されてもよい。本方法はまた、方位を表すために、四元数又は軸角度表現を使用してもよい。

ここで、最初の抽象化モデルについて論じる。最初に、初期抽象化ニューラルネットワークの例示的なアーキテクチャを詳細に説明する。

図６は、初期抽象化モデルのアーキテクチャの一例を示す。

最初の抽象化ネットワークは、エンコーダーと、いくつかの以下のサブネットワークとからなる。このエンコーダーは先に示したように、入力に依存してもよい。この例では、この方法は入力としてボクセルグリッドを使用する。ボクセルグリッドは、畳み込みニューラルネットワークの連続する層を通過する。ボクセルグリッドは畳み込み、可能なバッチ正規化、活性化関数（例えば、ReLu、leaky ReLu、Tanhなど）及びプーリング（例えば、Ｍａｘプーリング及び／又は手段プーリング）の連続のうちの少なくとも１つを通過させられてもよい。次いで、ボクセルグリッドは、完全に接続された層を通過して、潜在ベクトルを抽出する。次いで、このベクトルは、プリミティブのサイズパラメータ、プリミティブの位置決めパラメータ、プリミティブの配向パラメータ、及びプリミティブの形状パラメータε＝［ε１，ε２］をそれぞれ決定する４つのサブネットワークに供給される。例えば、初期抽象化ネットワークは、サイズパラメータ、位置決めパラメータ、配向パラメータ、及び形状パラメータをそれぞれ決定する（サブネットワークごとに１つの）ファルトモジュールを備えることができる。初期抽象化ネットワークが備えるモジュールの数は、プリミティブの種類に依存してもよい。たとえば、１つ又は複数の追加の有用なモジュールをネットワークに追加することができ、又は１つ又は複数の無駄なモジュールを除去することができる（たとえば、形状モジュールは、超楕円体プリミティブの代わりに直方体プリミティブの場合には除去することができる）。これらのサブネットワークは出力される特定のパラメータに応じた出力サイズ（例えば、サイズサブネットワークの場合はＭ×３、変換サブネットワークの場合はＭ×３、形状サブネットワークの場合はＭ×２など、Ｍは初期抽象化ネットワークによって出力されるプリミティブの数である）を有する、完全に接続された層から構成される。

ここで、初期抽象化ネットワークの研修について説明する。最初の抽象化ネットワークは、提供された３Ｄモデル化オブジェクトに可能な限り近いプリミティブの抽象化を得ることを可能にする。ここで、学習処理のために実施されてもよい様々な損失が詳細に説明される。

第１の学習損失は、再構成損失であってもよい。再構成損失は計算されたプリミティブアセンブリと入力形状との間の不一致を測定するために、面取り距離使用する。再構成損失は、以下のように定式化することができる。入力形状面（処理対象）からサンプリングされたＮ点のセットは、

で表される。推測された各プリミティブｍの表面からサンプリングされたＫ点のセットは、

で表される。再構成損失は次式で表される：

ここで、Ｌ_Ｙ→Ｘは予測されるプリミティブＹから点群Ｘまでの距離を測定し、Ｌ_Ｘ→Ｙは点群ＸからプリミティブＹまでの距離を測定する。

２つの損失の詳細な表現は、以下のように定式化することができる。

は、第ｍのプリミティブ上の第ｋの点

から目標点群Ｘまでの最小距離を示し、一方、

は、点ｘ_ｉから第ｍのプリミティブの表面までの最小距離を設計する。ここで、Ｔ_ｍは、
ワールド座標系の３Ｄ点ｘ_ｉを第ｍのプリミティブのローカル座標系に変換する関数である。

第２の学習損失は、重複損失であってもよい。この第２の研修損失は、プリミティブ間の重複をペナルティ化する正則化である。したがって、この第２の学習損失は重複を回避し、（重複するオブジェクトの部分なしに）オブジェクトの分解を得ることを可能にする。したがって、オブジェクトの構造は明確にセグメント化される。追加の利点として、この正則化は、オブジェクトの異なる部分におけるプリミティブのより均等な分布を促進する。本方法は、［１４］で与えられた超二次関数のインサイド機能を利用することによって、超二次関数Ｓを使用するように適応されてもよい：

パラメータα１、α２、α３、及びε１、ε２は、明示的な超二次関数のものと同じである。Ｆｓは、特定の点（ｘ，ｙ，ｚ）が超二次関数Ｓの内側にあるか外側にあるかを簡単に調べる方法を提供する。Ｆ＜１であれば点はＳの内側にあり、Ｆ＝１であれば点は表面上にあり、Ｆ＞１であれば点はＳの外側にある。

プリミティブ重複をペナルティにするために、この方法は、プリミティブのセットの内側及び表面上のサンプル点を進め、次いで、別のプリミティブの内側にある所与のプリミティブに属する点をペナルティにする。重複損失は、以下のように定式化することができる：

第３の学習損失は、領域均一性損失であってもよい。領域均一性損失は正則化であり、表面を制御することにより、網によって推論される超二次関数の次元の均一な分布を促進する。この正則化をオーバーラップの正則化と組み合わせることにより、オブジェクトの全ボリュームにわたって、関連する詳細レベルで均一な密度を維持することが可能になる。領域均一性損失を実施するために、この方法は楕円体の表領域を決定し、したがって超二次関数Ｓの表領域を近似することを可能にする、以下のクヌッド・トムセンの公式を使用することができる：

ここで、本方法は、

を私用することができ、これは近似の相対誤差として１．０６１％を与える。類似表面積を有する超二次関数をネットワーク推論するために、この方法は、以下の損失を実施することができる：

領域均一性損失Ｌ_areaは、推定される超二次関数の分散の標準偏差をペナルティとする。これは、モデルが学習された平均の周りの表面を標準化することを促進する傾向がある。

損失の実例が詳述されている。本発明は、これらの損失に限定されず、学習のための他の損失を用いて実施されてもよい。この方法は、単一の損失を用いて実施することができる。代替的に、この方法は、損失の任意の組合せを用いて実装されてもよい。例えば、以下の公式を使用することによって、定義された損失の加重和を使用してモデルを学習することができる：

式中、α及びβは、重み付け正のスカラーである。

次に、マージングニューラルネットワーク（第２ニューラルネットワーク）について説明する。マージングニューラルネットワークは、ボクセルグリッドエンコーダーと、それに続くいくつかのサブネットワークとを備える。最初の抽象化ネットワークとの差は、サブネットワークの出力寸法にある。マージングニューラルネットワークは単一のプリミティブのパラメータを出力するので、各サブネットワークの出力寸法は適合される（サイズサブネットワークについて１×３、形状サブネットワークについて１×２など）。

マージングニューラルネットワークのエンコーダーは入力（例えば、［１５］のようなそのようなネット）として点群をとるように適合されてもよい。この例示ではマージングニューラルネットワークが３Ｄボクセルグリッドエンコーダーを有するが、提示される解決策は３Ｄボクセルグリッドエンコーダーに限定されない。マージングニューラルネットワークは、上においてＭ＝１で議論された再構成損失Ｌ_reconなどの再構成損失を使用して学習されてもよい。

図７及び図８を参照して、本方法の定性的結果をここで議論する。図７及び図８は、得られた結果のいくつかの例を示す。図７は、６つの異なる椅子１００、１１０、１２０、１３０、１４０、及び１５０について得られた６つの推論例を示す。図７は左から右に、椅子の３Ｄモデル化オブジェクト、計算されたプリミティブの初期セット１０２（すなわち、マージ前の初期抽象化）、及びプリミティブの最終セット１０４（すなわち、マージ後の最終抽象化）に対応する３つのピクチャを有する６つの例を示す。６つの例はプリミティブの初期設定１０２が入力形状の均一で規則的な表現を与える一方で、マージ（すなわち、最終抽象化）後の得られたプリミティブの設定が入力形状の微細な分解を反映することを示す。さらに、得られた分解は意味的に意味があり、この方法は、人間が行うのと同じように形状を分解する。

図８は、本方法によって実行されるユーザ対話ツールの一例を示す。ユーザ対話ツールは、ユーザがマージアルゴリズムステップで実行される反復の数を制御する所望の粒度レベルを選択することを可能にする。これを行うことによって、本方法は、ユーザが最終的なセグメンテーションにおいて所望される部品の正確な数を制御することを可能にする。この例で考慮されるオブジェクトは、３Ｄモデル化オブジェクト２００によって表される椅子である。ユーザ対話ツールは、粒度スライダ２１０を含む。粒度スライダ２１０は、インジケータを水平方向に移動させることによって、ユーザが値を設定することを可能にする。ユーザセットがプリミティブの計算されたセットの各々に対応する値（すなわち、第１の微細な抽象化から最終的な粗抽象化まで、第１及び第２のニューラルネットワークによって反復的に計算されたプリミティブのセット）。スライダ２１０の値を設定することによって、ユーザは、これらの計算されたセットのうちの１つを選択する。ユーザは、インジケータを動かすことによって値を設定する。あるいは、ユーザがスライドバー上のポイントを直接クリックして、値を設定してもよい。図８に示すように、ユーザ対話ツールは、スライドバーの上の計算されたセットの各々のグラフィック表現を、それらのそれぞれのスライダ値で表示することができる。この表示は、計算されたセットのうちの１つを効率的に選択するための使用を可能にする。あるいは、ユーザ対話ツールが現在選択されているセットに対応する単一のセットのグラフィカル表現のみを表示してもよい。現在選択されているセットのグラフィック表現は、スライドバーの近く、例えばスライドバーの上に表示されてもよい。ユーザとスライダとの新しい連続的な相互作用の各々の後、以前の相互作用で表示されたグラフィック表現は、新しく選択されたセットに対応する新しいグラフィック表現に置き換えられてもよい。したがって、ユーザは、計算されたセット間をナビゲートすることができる。

図８に示すように、ユーザ対話ツールはラベル付き３Ｄモデル化オブジェクト２２０、すなわち、最終抽象化のプリミティブを３Ｄモデル化オブジェクトに投影した後の３Ｄモデル化オブジェクトを表示することもできる。したがって、方法によって識別された機械的アセンブリの各部分は例えば、識別された部分の各々について異なる色を使用して、強調表示されてもよい。

この方法は、コンピュータで実施される。これは、この方法のステップ（又は実質的に全てのステップ）は、少なくとも１つのコンピュータ又は任意のシステムによって実行されることを意味する。したがって、本方法のステップはコンピュータによって、場合によっては完全に自動的に、又は半自動的に実行される。例では、方法のステップのうちの少なくともいくつかのトリガがユーザ／コンピュータ対話を介して実行されてもよい。必要とされるユーザ／コンピュータ対話のレベルは予測される自動化のレベルに依存し、ユーザの希望を実施する必要性とバランスをとることができる。例では、このレベルがユーザ定義及び／又は事前定義されてもよい。

方法のコンピュータ実装の典型的な例は、この目的のために適合されたシステムを用いて方法を実行することである。システムはメモリに結合されたプロセッサと、グラフィカルユーザインタフェース（ＧＵＩ）とを備えることができ、メモリには、本方法を実行するための命令を含むコンピュータプログラムが記録されている。メモリはまた、データベースを記憶してもよい。メモリはそのような記憶のために適合された任意のハードウェアであり、場合によっては、いくつかの物理的に異なる部分（例えば、プログラムのためのもの、及び場合によってはデータベースのためのもの）を含む。

図９はシステムの例を示し、システムはクライアントコンピュータシステム、例えば、ユーザのワークステーションである。

この例のクライアントコンピュータは、内部通信バス１０００に接続された中央処理装置（ＣＰＵ）１０１０と、やはりバスに接続されたランダムアクセスメモリ（ＲＡＭ）１０７０とを備える。クライアントコンピュータには、さらに、ＢＵＳに接続されたビデオランダムアクセスメモリ１１００に関連するグラフィカルプロセッシングユニット（ＧＰＵ）１１１０が設けられている。ビデオＲＡＭ１１００は、当技術分野ではフレームバッファとしても知られている。大容量記憶装置コントローラ１０２０は、ハードドライブ１０３０などの大容量記憶装置へのアクセスを管理する。コンピュータプログラム命令及びデータを有形に具現化するのに適した大容量メモリデバイスは、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内部ハードディスク及びリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤＲＯＭディスク１０４０を含む、すべての形態の不揮発性メモリを含む。前述のいずれも、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補足されるか、又はその中に組み込まれてもよい。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライアントコンピュータは、カーソル制御デバイス、キーボードなどの触覚デバイス１０９０も含むことができる。ユーザがディスプレイ１０８０上の任意の所望の位置にカーソルを選択的に位置決めすることを可能にするために、カーソル制御装置がクライアントコンピュータ内で使用される。さらに、カーソル制御装置はユーザが様々なコマンドを選択し、制御信号を入力することを可能にする。カーソル制御装置は、システムに制御信号を入力するための多数の信号発生装置を含む。典型的にはカーソル制御装置がマウスであってもよく、マウスのボタンは信号を生成するために使用される。代替的に又は追加的に、クライアントコンピュータシステムは、センシティブパッド及び／又はセンシティブスクリーンを含むことができる。

コンピュータプログラムはコンピュータによって実行可能な命令を含むことができ、命令は、上記のシステムに本方法を実行させるための手段を含む。プログラムは、システムのメモリを含む任意のデータ記憶媒体に記録可能であってもよい。プログラムは例えば、デジタル電子回路において、又はコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、又はそれらの組み合わせにおいて実装されてもよい。プログラムは装置、例えば、プログラマブルプロセッサによる実行のための機械可読記憶デバイスに有形に具現化された製品として実装されてもよい。方法のステップは入力データ断片に対して動作し、出力を生成することによって、方法の機能を実行するための命令のプログラムを実行するプログラマブルプロセッサによって実行されてもよい。したがって、プロセッサはプログラム可能であり、データ断片記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ断片及び命令を受信し、それらにデータ断片及び命令を送信するように結合されてもよい。アプリケーションプログラムは、高レベルの手続き型又はオブジェクト指向プログラミング言語で、あるいは必要に応じてアセンブリ言語又は機械語で実装することができる。いずれの場合も、言語は、コンパイルされた言語又は解釈された言語であってもよい。プログラムはフルインストールプログラムであってもよいし、更新プログラムであってもよい。システム上にプログラムを適用すると、いずれにしても、この方法を実行するための命令が得られる。

Claims (15)

1. 機械的アセンブリを表す３Ｄモデル化オブジェクトをセグメント化するためのコンピュータ実装方法であって、
   前記３Ｄモデル化オブジェクトを提供するステップと、
   前記３Ｄモデル化オブジェクトの表現を抽象化ニューラルネットワークに入力するステップであって、抽象化ニューラルネットワークは３Ｄモデル化オブジェクトに適合する第１のプリミティブのセットを出力し、第１のセットは、第１の数の第１のプリミティブからなり、
   第１のセットから、それぞれの第２のプリミティブの１つ又は複数の第２のセットを決定するステップであって、各第２のセットはそれぞれの第２の数のそれぞれの第２のプリミティブからなり、第２の数は第１の数よりも小さく、
   前記決定するステップが、
   第３のプリミティブの第３の設定を第１の設定として初期化するステップと、
   各々が以下を含む１回以上の反復を実行するステップと
   第３のプリミティブの第３のセットを提供し、
   第３のプリミティブの１つ又は複数の部分集合をそれぞれ１つのそれぞれの単一の第４のプリミティブに一緒にマージし、それによって、それぞれの単一の第４のプリミティブ及びそれぞれのマージされていない第３のプリミティブからなる第４のプリミティブの第４のセットを取得し、
   次の反復の第３のセットを現在の反復の第４のセットとして設定し、
   前記１つ又は複数の第２のセットを、１つ又は複数の取得された第４のセットとして設定するステップと
   を有するコンピュータ実装方法。
2. 前記マージするステップが、候補部分集合のグループ間でマージされるべき前記１つ又は複数の部分集合を決定するステップを備え、
   前記マージされるべき前記１つ又は複数の部分集合を前記決定するステップは、前記グループのそれぞれの候補部分集合ごとに、前記それぞれの候補部分集合のマージコストのペナルティを含む
   請求項１に記載の方法。
3. 前記マージするステップが、サブセットの候補グループのうちの候補サブセットの前記グループを決定するステップを備え、
   前記候補サブセットの前記グループを決定するステップが、各候補グループについて、前記各候補グループのすべてのサブセットについて、各サブセットの前記第３のプリミティブ間のマージ互換性のグローバルペナルティを含む
   請求項２に記載の方法。
4. 前記サブセットの候補グループが、前記第３のセットの各パーティションから第３のプリミティブのペアになり、
   前記候補サブセットのグループを決定するステップが、最小重みマッチングアルゴリズムを含む
   請求項３に記載の方法。
5. 前記抽象化ニューラルネットワークが、
   エンコーダーであって、当該エンコーダーは任意選択的に畳み込みニューラルネットワークを備え、及び／又は当該エンコーダーはボクセルグリッドを入力として取り込むように構成され、抽象ニューラルネットワークに入力される３Ｄモデル化オブジェクトの表現はボクセルグリッドフォーマットに従うエンコーダーと、
   プリミティブサイズパラメータ、プリミティブ位置決めパラメータ及びプリミティブ配向パラメータをそれぞれ出力するように構成された３つのサブネットワーク、及び任意選択で、プリミティブ形状パラメータを出力するように構成された１つの追加のサブネットワークであって、任意選択で、少なくとも１つ（例えば、それぞれ）のサブネットワークはそれぞれ完全に接続された層から構成される（例えば、各サブネットワークの第１の数及びそれぞれの出力されたパラメータの数に応じた出力サイズ及び／又は第１の数がハイパーパラメータである）サブネットワークと。
   を有する請求項１から４のいずれか一項に記載の方法。
6. 前記１つ又は複数の第２のセットが複数の第２のセットを含み、前記方法が、それぞれが以下を含む１回以上の反復を含む
   ユーザインタラクションの際に、複数の第２のセットのうちの単一の第２のセットを選択するステップ、及び
   選択された第２のセットのグラフィック表現をリアルタイムで表示するステップ
   請求項１から５のいずれか一項に記載の方法。
7. 単一の第４のセットを自動的に選択ステップであって、選択された単一の第４のセットはしきい値以上の連続する反復間のマージ再構成損失の進化に対応するステップと、
   選択した単一の４番目のセットをマーキングするステップと
   を有する請求項１から６のいずれか一項に記載の方法。
8. 前記抽象化ニューラルネットワークが、それぞれの機械的アセンブリをそれぞれ表す注釈付きでない３Ｄモデル化オブジェクトを含むデータセット上で教師なし的な方法で学習される
   請求項１から７のいずれか一項に記載の方法。
9. 前記マージするステップが各部分集合の表現をマージングニューラルネットワークに入力するステップを含み、
   前記マージングニューラルネットワークが前記それぞれの単一の第４のプリミティブを出力する
   請求項１から８のいずれか一項に記載の方法。
10. 前記合流ニューラルネットワークが、
    任意選択的に、エンコーダーは畳み込みニューラルネットワークを備え、及び／又はエンコーダーはボクセルグリッド及び／又は点群を入力として取り込むように構成され、マージングニューラルネットワークに入力されるそれぞれのサブセットの表現はそれぞれボクセルグリッドフォーマット又は点群フォーマットに従っており、
    プリミティブサイズパラメータ、プリミティブ測位パラメータ及びプリミティブ方位パラメータを各出力するように各構成された３つのサブネットワークと、プリミティブ形状パラメータを出力するように構成された任意選択的に１つの追加のサブネットワークであって、任意選択的に少なくとも１つ（例えば、各）のサブネットワークは各完全に接続された層から構成される（例えば、各のサブネットワークの各の出力パラメータに応じた出力サイズを有する）サブネットワーク
    を含む請求項９に記載の方法。
11. 前記抽象化ニューラルネットワーク及び前記マージングニューラルネットワークのうちの少なくとも１つが、再構成損失をペナルティとするそれぞれの学習損失に基づいて学習され、任意選択的に、前記再構成損失が点群ディスタンスに基づいており、前記抽象化ニューラルネットワークの前記学習損失が重複損失及び領域損失をさらにペナルティとし、及び／又は前記学習損失が前記再構成損失、前記重複損失、及び前記領域損失の加重和に等しい
    請求項１から１０のいずれか一項に記載の方法。
12. 請求項１～１１のいずれか一項に記載の抽象化ニューラルネットワークを学習するため、及び／又は請求項９に記載のマージングニューラルネットワーク又はそのいずれかの従属請求項を学習するためのコンピュータ実施方法。
13. 請求項１から１１のいずれか一項に記載の方法及び／又は請求項１２に記載の方法を実行するための命令を含むコンピュータプログラム。
14. 請求項１３に記載のプログラムを記録したデータ記憶媒体を含む装置。
15. 前記デバイスは、前記データ記憶媒体に結合されたプロセッサをさらに備える
    請求項１４に記載のデバイス。

Images